Cómo limitar el número máximo de subprocesos paralelos en Perl

Question

Tengo un programa (Perl) que inicia una gran cantidad de subprocesos (cada uno a cargo de crear gráficos basados ​​en el procesamiento de datos). Cada hilo que comience a usar:

my @threads //list to store threads that have been launched 

push @threads,threads->create(\mySubName,params...); 

Los hilos disparan correctamente, pero después de un tiempo, después de que yo he abierto varios de ellos se estrella intérprete de Perl (supongo que tiene que ver con la memoria?). Así que mi solución es limitar el número de hilos que abro a la vez, elegí 15. Y quiero agregar un sub antes de cada línea de creación para verificar si está bien disparar el siguiente hilo o dormir mientras espero para que uno termine Así es como traté de hacerlo.

sub checkThreads{ 
    my $addThread = 0; 
    until($addThread){ 
     my $totalThreads = 0; 
     foreach my $task (@threads){ 
      if($task->is_running()){$totalThreads++;} 
     } 
     if($totalThreads <= 15){ 
      print "Ok to add new thread, carry on!\n"; 
      $addthread = 1; 
     }else{ 
      print "Waiting for $totalThreads threads to fire next one...\n"; 
      sleep 2; 
     } 
    } 
} 

Así que cada vez que quiero crear un nuevo hilo acabo llamarían

&checkThreads; 

Y eso sería tener cuidado para crear un retraso mientras espero a que algunos hilos para limpiar. El problema es que cuando llamo a ese sub, el momento en que golpeó la línea donde puedo comprobar:

$task->is_running() 

el programa sale y deja de funcionar sin ningún tipo de error o advertencia. Solo quiero un sub que cuente los hilos de ejecución para limitarlos.

¿Cómo puedo realizar este recuento con éxito?

Otras cosas que he tratado están evaluando la línea siguiente:

scalar(threads->list()); 

Pero eso me da un valor raro, como si es una referencia sin bendecir Creo que se parece a:

threads=SCALAR(0x80fea8c) 

Answer 1

Thread::Semaphore proporciona una counting semaphore para limitar la concurrencia:

my $sem = Thread::Semaphore->new(15); # max 15 threads 
my @threads = map { 
    # request a thread slot, waiting if none are available: 
    $sem->down; 
    threads->create(\&mySubName, @params) 
} 0..100; 
$_->join for @threads; 

Y en su función:

sub mySubName { 
    do_stuff(); 
    # release slot: 
    $sem->up; 
} 

Answer 2

man perlthrtut 

What Threads Are Running? 
    "threads->list()" returns a list of thread objects, one for each thread 
    that's currently running and not detached. Handy for a number of 

En otras palabras, descubra cuántos elementos hay en la lista que threads-> list() devuelve y tiene su conteo.

Es posible que desee investigar Thread::Pool u otros paquetes de cpan para ver si alguien más ya ha hecho el trabajo pesado por usted.

Answer 3

Mirando los documentos,

my $count = threads->list(); 

debería funcionar, al contrario de lo que dice. ¿Qué documentación usa la versión de los hilos que usa? Bueno, podrías usar lo siguiente como una solución alternativa.

my $count =() = threads->list();