Hadoop - el aumento de tareas mapa en XML no aumenta cuando se ejecuta tareas mapa

Question

I añade el siguiente en mi conf/mapred-site.xml

<property> 
    <name>mapred.tasktracker.map.tasks.maximum</name> 
    <value>4</value> 
</property> 

<property> 
    <name>mapred.tasktracker.reduce.tasks.maximum</name> 
    <value>1</value> 
</property> 

Pero cuando corro el trabajo, su todavía corre 2 maps(which is default one)? ¿Cómo puedo forzar que este número aumente?

P.S. Estoy usando Ubuntu Quad core cuadro

Gracias

Answer 1

¿Está ejecutando una pequeña cantidad de datos? Es posible que su trabajo de MapReduce se ejecute solo en una división de entrada y, por lo tanto, no requiera más mapeadores. Intente ejecutar su trabajo en cientos de MB de datos en su lugar y vea si todavía tiene el mismo problema.

El número máximo de tareas que se pueden ejecutar en un solo nodo no tiene nada que ver con el número de tareas de mapa que tiene un trabajo. Su trabajo podría tener 20 tareas de mapa, mientras que su clúster tiene 5 espacios de mapa, y solo le llevará más tiempo. O bien, su clúster podría tener 50 ranuras de mapa, pero su trabajo solo tiene 2 ranuras de mapa.

Answer 2

<property> 
    <name>mapred.tasktracker.map.tasks.maximum</name> 
    <value>1</value> 
    <final>true</final> 
</property> 

probar eso.

Answer 3

mapred.tasktracker.map.tasks.maximum es la cantidad máxima de tareas que un rastreador de tareas puede ejecutar simultáneamente. Pero cuando desea establecer el número de tareas de mapa para un trabajo en conjunto, establezca mapred.map.tasks en 4.