¿Cómo puedo ejecutar una lista de comandos en paralelo?

Question

Tengo un archivo que contiene líneas de comando que quiero ejecutar. Este archivo contiene alrededor de 2,000 líneas.

Tengo 8 núcleos disponibles. ¿Es posible analizar el archivo e iniciar 8 procesos, y luego ejecutar otro desde el archivo cada vez que finalice uno de los programas? Quiero que esto continúe hasta que se llegue al final del archivo.

Answer 1

Puede usar xargs para leer en el archivo, al tiempo que limita la cantidad máxima de procesos a la cantidad de núcleos disponibles. Por ejemplo:

cores=$(fgrep -c processor /proc/cpuinfo) 
xargs --arg-file=/tmp/foo \ 
     --max-procs=$cores \ 
     --replace \ 
     --verbose \ 
     /bin/sh -c "{}" 

Answer 2

Puede iniciar nuevos procesos en segundo plano simplemente ejecutando un comando con &. Hay un ejemplo here que describe una solución a su problema.

Answer 3

Use GNU parallel. Es una herramienta increíblemente poderosa y existen paquetes oficiales para unas 20 distribuciones linux. ¿Que es eso? You have an excuse as to why you can't use it? Aquí está un ejemplo simple que muestra cómo ejecutar una lista o archivo de comandos en paralelo:

Contenido de jobs.txt:

sleep 1; echo "a" 
sleep 3; echo "b" 
sleep 2; echo "c" 

de comando:

time parallel :::: jobs.txt 

Resultados:

a 
c 
b 

real 0m3.332s 
user 0m0.170s 
sys  0m0.037s 

---

Notas:

Si desea mantener el orden igual que la entrada, pase el indicador -k al paralelo GNU.

Si tiene más de ocho núcleos y solo desea procesar con ocho núcleos, agregue -j 8 a la lista de argumentos.

El man page es una buena lectura, pero si aún no ha leído this tutorial, le recomiendo encarecidamente la inversión de tiempo.