multiproceso o subprocesamiento en python?

Question

Tengo una aplicación de Python que toma una colección de datos y para cada pieza de datos en esa colección realiza una tarea. La tarea tarda un tiempo en completarse ya que hay un retraso involucrado. Debido a este retraso, no quiero que cada dato realice la tarea posteriormente, quiero que todos sucedan en paralelo. ¿Debo usar multiprocesos? o enhebrar para esta operación?

Intenté utilizar el enhebrado pero tuve algunos problemas, a menudo algunas de las tareas nunca se activaron.

Answer 1

Usando modelo de hilos de CPython no le dará ninguna mejora en el rendimiento, ya que los hilos no son en realidad ejecutar en paralelo, debido a la forma en que se maneja la recolección de basura. El multiproceso permitiría la ejecución paralela. Obviamente, en este caso, debe tener múltiples núcleos disponibles para cultivar sus trabajos paralelos.

Hay mucha más información disponible en this related question.

Answer 2

Para las pequeñas colecciones de datos, basta con crear subprocesos con subprocess.Popen.

Cada subproceso puede conseguir simplemente es parte de los datos de la entrada estándar o desde argumentos de línea de comandos, haga su procesamiento, y simplemente grabar el resultado en un archivo de salida.

Cuando los subprocesos tienen todo terminado (o el tiempo de espera), sólo tiene que fusionar los archivos de salida.

Muy simple.

Answer 3

Puede considerar buscar en Stackless Python. Si tiene control sobre la función que lleva mucho tiempo, puede simplemente arrojar algunos stackless.schedule() s allí (diciendo ceder a la siguiente coroutine), o bien puede set Stackless to preemptive multitasking.

En Stackless, que no tienen las discusiones, pero tasklets o Verdecillo que son esencialmente hilos muy ligero. Funciona de maravilla en el sentido de que hay un marco bastante bueno con muy poca configuración para realizar múltiples tareas.

Sin embargo, Stackless dificulta la portabilidad ya que hay que sustituir algunas de las bibliotecas estándar de Python - Stackless elimina la dependencia de la pila C. Es muy portátil si el siguiente usuario también tiene Stackless instalado, pero rara vez será el caso.

Answer 4

Si realmente está computar obligado, mediante el multiprocessing module es probablemente la solución más ligera de peso (en términos de consumo de memoria y dificultades de implementación.)

Si usted es de E/S de la envolvente, utilizando los threading module normalmente dará buenos resultados Asegúrese de utilizar el almacenamiento seguro de subprocesos (como la cola) para entregar datos a sus subprocesos. O bien, proporciónales una única pieza de datos que sea única para ellos cuando se generen.

PyPy se centra en el rendimiento. Tiene una serie de características que pueden ayudar con el procesamiento de procesamiento computarizado. También tienen soporte para Software Transactional Memory, aunque todavía no es calidad de producción. La promesa es que puede usar mecanismos paralelos o concurrentes más simples que el multiprocesamiento (que tiene algunos requisitos incómodos).

Stackless Python es también una buena idea. Stackless tiene problemas de portabilidad como se indicó anteriormente. Unladen Swallow fue prometedor, pero ahora ha desaparecido.Pyston es otra implementación (inacabada) de Python centrada en la velocidad. Adopta un enfoque diferente de PyPy, que puede producir mejores (o solo diferentes) aceleraciones.

Answer 5

Si puede dividir y separar fácilmente los datos que tiene, parece que debe hacer esa partición externamente y alimentarlos a varios procesos de su programa. (es decir, varios procesos en lugar de hilos)

Answer 6

IronPython tiene multihilo real, a diferencia de CPython y es GIL. Entonces, dependiendo de lo que estés haciendo, puede valer la pena mirarlo. Pero parece que su caso de uso se adapta mejor al módulo de multiprocesamiento.

Para el tipo que recomienda python sin apilamiento, no soy un experto en eso, pero me parece que está hablando de software "multihilo", que en realidad no es para nada paralelo (todavía se ejecuta en un hilo físico, por lo tanto, no se puede escalar a varios núcleos). Es simplemente una forma alternativa de estructurar aplicaciones asíncronas (pero aún de un solo subproceso, no paralelas).

Answer 7

Tareas se ejecuta de forma secuencial pero tiene la ilusión de que se ejecutan en paralelo. Las tareas son buenas cuando se utiliza para E/S de archivos o conexiones y porque son ligeras.

El multiproceso con Pool puede ser la solución adecuada para usted porque los procesos se ejecutan en paralelo, por lo que son muy buenos con la informática intensiva porque cada proceso se ejecuta en una CPU (o núcleo).

instalación de multiproceso puede ser muy fácil:

from multiprocessing import Pool 

def worker(input_item): 
    output = do_some_work() 
    return output 

pool = Pool() # it make one process for each CPU (or core) of your PC. Use "Pool(4)" to force to use 4 processes, for example. 
list_of_results = pool.map(worker, input_list) # Launch all automatically 

Answer 8

Es posible que desee ver en Twisted. Está diseñado para tareas de red asíncronas.