2009-11-10 21 views
6

Estoy construyendo un trabajo de reducción de mapas de Hadoop (0.20.1) que usa HBase (0.20.1) como fuente de datos y receptor de datos. Me gustaría escribir el trabajo en Python que me ha requerido utilizar hadoop-0.20.1-streaming.jar para transmitir datos hacia y desde mis scripts de Python. Esto funciona bien si la fuente/sumidero de datos son archivos HDFS.Hadoop mapreduce la transmisión desde HBase

¿Hadoop admite la transmisión de/a HBase para mapreduce?

+0

Did usted tomó un vistazo a hbase + Kafka + Spark Streaming integración? – Mike

Respuesta

1

Esto parece hacer lo que quiero pero no es parte de la distribución de Hadoop. Cualquier otra sugerencia o comentario aún es bienvenido.

http://github.com/wanpark/hadoop-hbase-streaming

+0

¿Tiene alguna sugerencia para mi pregunta? Http://stackoverflow.com/questions/10953731/calculate-tf-idf-of-documents-using-hbase-as-the-datasource – JHS

Cuestiones relacionadas