¿Hay algo escrito en HDFS o Hbase visible para todos los otros nodos en Hadoop Cluster inmediatamente?

Question

Mientras que un Hadoop trabajo está en marcha o en curso si escribo algo a HDFS o hbase entonces será visible que los datos a todos los nodos en el clúster

1.) inmediatamente?

2.) ¿Si no inmediatamente después de cuánto tiempo?

3.) ¿O el tiempo realmente no se puede determinar?

Answer 1

HDFS es muy consistente, por lo que una vez que se haya completado satisfactoriamente una escritura,, los nuevos datos deberían estar visibles en todos los nodos inmediatamente. Es evidente que la escritura real lleva tiempo; consulte replication pipelining para obtener más detalles sobre esto.

Esto está en contraste con sistemas eventualmente consistentes, donde puede tomar un tiempo indefinido (aunque a menudo solo unos pocos milisegundos) antes de que todos los nodos vean una vista consistente de los datos.

Los sistemas como Cassandra tienen consistencia sintonizable: cada lectura y escritura se puede realizar con un nivel de consistencia diferente para adaptarse a la operación que se realiza.

Answer 2

Según tengo entendido, los datos se ven inmediatamente, una vez finalizada la operación de escritura.
vamos a ver algunos aspectos del proceso:
Al cliente le escribe a HDFS datos se escriben en todas las réplicas, y después de la operación de escritura terminado debe ser perfectamente disponibles
También existe un solo lugar con metadatos - NameNode que también hacer no tiene ninguna noción de aislamiento que permita ocultar datos hasta que se haga una mayor paz de trabajo.
HBase es un caso diferente, ya que solo escribirá LOG to HDFS inmediatamente y sus HFiles se actualizarán con nuevos datos solo después de la compactación. Al mismo tiempo, después de que HBase escriba algo en HDFS, los datos serán visibles inmediatamente.

Answer 3

En HDFS, los datos están visibles una vez que se vacían o se sincronizan utilizando el método hflush() o hsync(); estos métodos se introdujeron en la versión 0.21, supongo. HFlush le garantiza que los datos están visibles para todos los lectores. Hsync le garantiza que los datos se guardaron en el disco (aunque aún puede estar en su caché de disco). El método de escritura no te da ninguna garantía. Para responder a su pregunta, en HDFS los datos están visibles inmediatamente a todos después de hacer hflush() o hsync().