Perfil Python Uso de CPU por subproceso

Question

Tengo una aplicación de Python de subprocesos múltiples y actualmente estoy solucionando problemas con el uso de CPU muy alto (90% o más).

Voy a probar el generador de perfiles, pero quería ver si hay una forma de que pueda obtener el uso de CPU por hilo desde dentro de la aplicación. Entiendo que os.times() tendrá un uso general de la CPU: ¿hay algo que pueda ejecutar desde cada subproceso para obtener el uso de cada subproceso? Sería muy útil determinar qué hilo está comiendo CPU.

Answer 1

Aparte del generador de perfiles, no creo que Python tenga mucho incorporado para monitorear el uso de la CPU de subprocesos individuales. Además, this post proporciona un ejemplo de una implementación simple de un perfilador de subprocesos. Parece principalmente orientado a sistemas basados ​​en Unix, pero es un comienzo.

Answer 2

Si está en Windows, puede echar un vistazo al Process Explorer ("procexp.exe" incluido con Microsoft's Sysinternals Tools). Hay una pestaña "Subprocesos" en las propiedades de cada proceso que enumera todos los subprocesos y su tiempo de CPU.

Si eso no le da suficiente información, use Python's profiling mechanisms, que no son demasiado difíciles de usar.

Answer 3

O simplemente puede usar yappi. (https://code.google.com/p/yappi/) Utiliza transparentemente GetThreadTimes() si se selecciona el tipo de reloj de la CPU para crear perfiles. Le mostrará el tiempo de CPU de un hilo en ejecución.

Ver también aquí para ver un ejemplo: sistemas https://code.google.com/p/yappi/wiki/YThreadStats_v082