Error en Hadoop MapReduce

Question

Cuando ejecuto un programa mapreduce utilizando Hadoop, aparece el siguiente error.

10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED 
    java.io.IOException: Task process exit with nonzero status of 1. 
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:418) 
10/01/18 10:52:48 WARN mapred.JobClient: Error reading task outputhttp://ubuntu.ubuntu-domain:50060/tasklog?plaintext=true&taskid=attempt_201001181020_0002_m_000014_0&filter=stdout 
10/01/18 10:52:48 WARN mapred.JobClient: Error reading task outputhttp://ubuntu.ubuntu-domain:50060/tasklog?plaintext=true&taskid=attempt_201001181020_0002_m_000014_0&filter=stderr 

¿Qué es este error?

Answer 1

Una razón por la que Hadoop produce este error es cuando el directorio que contiene los archivos de registro se llena demasiado. Este es un límite de Ext3 Filesystem que solo permite un máximo de 32000 enlaces por inode.

Comprobar cómo llena los registros de su directorio está en hadoop/userlogs

Una prueba simple para este problema es simplemente tratar de crear un directorio desde la línea de comandos, por ejemplo: $ mkdir hadoop/userlogs/testdir

Si usted tiene demasiados directorios en los userlogs, el sistema operativo no debería crear el directorio e informar que hay demasiados.

Answer 2

Estaba teniendo el mismo problema cuando me quedo sin espacio en el disco con el directorio de registro.

Answer 3

Otra causa puede ser, error de JVM cuando intenta asignar un espacio dedicado a JVM y no está presente en su máquina.

sample code: 
conf.set("mapred.child.java.opts", "-Xmx4096m"); 

Error message: 
Error occurred during initialization of VM 
Could not reserve enough space for object heap 

Solución: Reemplazar -Xmx con valor de memoria dedicada que puede proporcionar a JVM en su máquina (por ejemplo, "-Xmx1024m")

Answer 4

Si crea un archivo jar ejecutable en eclipse, que da ese error en el sistema hadoop. Deberías extraer la parte ejecutable. Eso resolvió mi problema.

Answer 5

Aumente su ulimit a un número ilimitado. o solución alternativa reducir la memoria asignada.