¿Por qué PLINQ usa solo dos hilos?

Question

Supongamos que tengo una tarea vinculada a IO. Estoy usando WithDegreeOfParallelism = 10 y WithExecution = ForceParallelism mode, pero la consulta solo usa dos hilos. ¿Por qué?

Entiendo que PLINQ usualmente elegirá un grado de paralelismo igual a mi conteo de núcleos, pero ¿por qué ignora mi solicitud específica de mayor paralelismo?

static void Main(string[] args) 
{ 
    TestParallel(0.UpTo(8)); 
} 

private static void TestParallel(IEnumerable<int> input) 
{ 
    var timer = new Stopwatch(); 
    timer.Start(); 
    var size = input.Count(); 

    if (input.AsParallel(). 
     WithDegreeOfParallelism(10). 
     WithExecutionMode(ParallelExecutionMode.ForceParallelism). 
     Where(IsOdd).Count() != size/2) 
     throw new Exception("Failed to count the odds"); 

    timer.Stop(); 
    Console.WriteLine("Tested " + size + " numbers in " + timer.Elapsed.TotalSeconds + " seconds"); 
} 

private static bool IsOdd(int n) 
{ 
    Thread.Sleep(1000); 
    return n%2 == 1; 
} 

Answer 1

PLINQ trata de encontrar el número óptimo de hilos para llevar a cabo lo que queremos que haga lo más rápido posible, si sólo tiene 2 núcleos en la CPU, ese número es más probable 2. Si tuvo una quad core, es más probable que veas 4 subprocesos, pero la creación de 4 subprocesos en una máquina de doble núcleo realmente no mejoraría el rendimiento, ya que solo 2 subprocesos podrían estar activos al mismo tiempo.

Además, con operaciones basadas en IO, es probable que cualquier subproceso adicional se bloquee simplemente en la primera operación de IO realizada.

Answer 2

10 es máxima

Ajusta el grado de paralelismo de usar en una consulta. El grado de paralelismo es el número máximo de tareas de ejecución simultáneas que se usarán para procesar la consulta.

A partir de aquí:

MSDN

Answer 3

Parece PLINQ sintoniza el número de hilos. Cuando envolví el código anterior en un ciclo while (verdadero), las dos primeras iteraciones tardaron dos segundos en ejecutarse, pero el tercero y el anterior tomaron solo un segundo. PLINQ entendió que los núcleos están inactivos y aumentó el número de subprocesos. ¡Impresionante!

Answer 4

Estoy de acuerdo con Rory, excepto con IO. No se ha probado con el disco IO, pero la red IO definitivamente puede ser más efectiva con más hilos, que núcleos en la CPU.

prueba simple (sería más correcto funcionamiento de prueba con cada hilo contar varias veces, como velocidad de la red no es constante, pero aún así) para demostrar que:

[Test] 
    public void TestDownloadThreadsImpactToSpeed() 
    { 
     var sampleImages = Enumerable.Range(0, 100) 
      .Select(x => "url to some quite large file from good server which does not have anti DSS stuff.") 
      .ToArray();    

     for (int i = 0; i < 8; i++) 
     { 
      var start = DateTime.Now; 
      var threadCount = (int)Math.Pow(2, i); 
      Parallel.For(0, sampleImages.Length - 1, new ParallelOptions {MaxDegreeOfParallelism = threadCount}, 
         index => 
          { 
           using (var webClient = new WebClient()) 
           { 
            webClient.DownloadFile(sampleImages[index], 
                  string.Format(@"c:\test\{0}", index)); 
           } 
          }); 

      Console.WriteLine("Number of threads: {0}, Seconds: {1}", threadCount, (DateTime.Now - start).TotalSeconds); 
     } 
    } 

Resultado imagen 500x500px del CDN con usando la máquina 8 núcleo con SSD fue:

Número de hilos: 1, segundos: 25.3904522
Número de hilos: 2, segundos: 10.8986233
Número de hilos: 4, segundos: 9.9325681
Número de hilos: 8, segundos: 3.7352137
Número de hilos: 16, segundos: 3.3071892
Número de hilos: 32, segundos: 3.1421797
Número de hilos: 64, segundos: 3.1161782
Número de hilos: 128, segundos: 3,7272132

el último resultado tiene tal vez que pienso en primer lugar porque tenemos que descargar hasta 100 imágenes :)

diferencias horarias utilizando 8-64 hilos no es tan grande, pero que se encuentra en 8 máquina de núcleo.Si se tratara de una máquina de 2 núcleos (portátil de usuario final barato), creo que forzar el uso de 8 hilos tendría más impacto, que en la máquina de 8 núcleos forzar el uso de 64 hilos.