¿Cómo puedo tropezar con este error de instalación del sistema de archivos Hadoop?

Question

Estoy tratando de instalar Hadoop en una imagen de prueba de Ubuntu que no es de Cloudera. Todo parece haber ido bien hasta que ejecuté ./bin/start-all.sh. El nodo de nombre nunca aparece, así que ni siquiera puedo ejecutar hadoop fs -ls para conectarme al sistema de archivos.

Aquí está el registro NameNode:

2011-03-24 11:38:00,256 INFO org.apache.hadoop.ipc.Server: Stopping server on 54310 
2011-03-24 11:38:00,257 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /usr/local/hadoop-datastore/hadoop-hadoop/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. 
    at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:290) 
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:88) 
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:312) 
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:293) 
    at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:224) 
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:306) 
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1006) 
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1015) 

2011-03-24 11:38:00,258 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************ 
SHUTDOWN_MSG: Shutting down NameNode at Brash/192.168.1.5 
************************************************************/ 

he chmod -R 755 en el directorio raíz e incluso ido tan lejos como para asegurarse de que el directorio existe, creando con mkdir -p.

hadoop@Brash:/usr/lib/hadoop$ ls -la /usr/local/hadoop-datastore/hadoop-hadoop/dfs/ 
total 16 
drwxr-xr-x 4 hadoop hadoop 4096 2011-03-24 11:41 . 
drwxr-xr-x 4 hadoop hadoop 4096 2011-03-24 11:31 .. 
drwxr-xr-x 2 hadoop hadoop 4096 2011-03-24 11:31 data 
drwxr-xr-x 2 hadoop hadoop 4096 2011-03-24 11:41 name 

Aquí es mi /conf/hdfs-site.xml:

hadoop@Brash:/usr/lib/hadoop$ cat conf/hdfs-site.xml 
<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<configuration> 
<property> 
    <name>dfs.replication</name> 
    <value>1</value> 
    <description>Default block replication. 
    The actual number of replications can be specified when the file is created. 
    The default is used if replication is not specified in create time. 
    </description> 
</property> 
</configuration> 

Answer 1

Nunca debería tener que crear el directorio sí mismo. Lo creará por sí mismo. ¿Olvidaste formatear namenode? Elimine el directorio existente, luego vuelva a formatear el namenode (bin/hadoop namenode -format) y vuelva a intentarlo.