Hadoop slowstart configuration

Question

¿Cuál es el valor ideal para "mapred.reduce.slowstart.completed.maps" para un trabajo de Hadoop? ¿Cuáles son las reglas a seguir para configurarlo adecuadamente?

Gracias!

Answer 1

Depende de una serie de características de su trabajo, racimo y utilización:

1. ¿Cuántas ranuras mapa requerirá su trabajo frente a la capacidad máxima mapa: Si usted tiene un trabajo que genera 1000 de tareas mapa , pero solo tiene 10 ranuras de mapa en total (un caso extremo para demostrar un punto), entonces comenzar sus reductores temprano podría privar a las tareas de reducción de la ejecución. En este caso, establecería su slowstart en un valor grande (0.999 o 1.0). Esto también es cierto si los mappers tardan una edad en completarse. Permita que otra persona use los reductores

2. Si su clúster tiene una carga relativamente ligera (no hay contención para las ranuras del reductor) y sus cartógrafos generan un buen volumen de datos, entonces un valor bajo para slowstart ayudará a que su trabajo termine antes (mientras se ejecutan otras tareas de mapa, obtener los datos de salida del mapa movidos a los reductores).

Probablemente hay más