Python hadoop en streaming: Configuración de un nombre de trabajo

Question

• Tengo un trabajo que se ejecuta en mi clúster utilizando Hadoop-streaming a
• tengo que empezar un nuevo trabajo para el cual quiero añadir un nombre de trabajo, ¿cómo puedo pasar esa opción en línea de comandos o archivo para configurar un nombre de trabajo?
• En Java, se puede hacer esto diciendo

JobConf conf = new JobConf(WordCount.class); 
conf.setJobName("wordcount"); 

¿Cómo puedo hacer eso con hadoop streaming?

Answer 1

Configurar el establecimiento mediante la tecla D = valor de la notación:

-D mapred.job.name='My Job' 

Usted puede enumerar un montón de opciones llamando a la jarra de streaming con sólo el argumento -info