Soy totalmente nuevo en hadoop y acabo de instalar lo que me llevó 2 días ... Ahora estoy intentando con el comando hadoop dfs, pero simplemente no lo entendía, aunque he estado navegando por días , no pude encontrar la respuesta a lo que quiero saber. Todos los ejemplos muestran cuál es el resultado, sin explicar la estructura real de la misma, así que estaré contento si alguien me puede ayudar a comprender los archivos hdfs de hadoop.¿Dónde están almacenados mis archivos (dir) cuando utilicé el hadoop fs -mkdir?
He creado un directorio en el HDFS.
bin/hadoop fs -mkdir input
Bien, lo verificaré con el comando ls.
bin/hadoop fs -ls
Found 1 items
drwxr-xr-x - hadoop supergroup 0 2012-07-30 11:08 input
Bien, no hay problema, todo parece perfecto ... PERO ¿dónde están almacenados los datos HDFS? Pensé que se almacenaría en el directorio de mi nodo de datos (/ home/hadoop/datastore), que se definió en core-site.xml bajo hadoop.tmp.dir, pero no está allí ...
Luego probé para ver a través de la IU-WEB y encontré que "entrada" se creó en "/ user/hadoop /" (/ user/hadoop/input).
Mis preguntas son
- (1) ¿Cuáles son el directorio DataNode (hadoop.tmp.dir) utilizado, ya que es imposible almacenar todo lo que procesa a través de comandos DFS?
- (2) Todo lo creado con el comando dfs va a/user/XXX /, ¿cómo cambiar el valor de esto?
- (3) No puedo ver nada cuando intento acceder a través del comando normal de Linux (ls/user/hadoop). ¿/ User/hadoop existe lógicamente?
Lo siento si mis preguntas son estúpidos .. un novato tratando de entender mejor .. hadoop
gracias de antemano.