Pasé casi un día pero no pude encontrar la manera de usar IdentityReducer en la nueva API de Hadoop. Todas las referencias o clases que puedo encontrar están con la antigua API. Y, obviamente, mezclar la antigua clase API idetntitreducer en la nueva base de código API no funciona bien. Cualquier ayuda será apreciada.identityreducer en la nueva API de Hadoop
sobre todo porque en la nueva API Mapper y Reducer son clases en lugar de las interfaces, que son el nuevo reemplazo de IdentityMapper/Reductor . Para obtener la identidad, solo tiene que usar Mapper.class y Reducer.class.
Y si no establece explícitamente el asignador o la clase de reductor, la versión de identidad se usa de forma predeterminada –
echar un vistazo:
http://hadoop.apache.org/common/docs/r1.0.0/api/org/apache/hadoop/mapred/lib/IdentityReducer.html
Su para hadoop versión estable
Hadoop Streaming - Hadoop 1.0.2
Según this, el comando es
-x org.apache.hadoop.mapred.lib.IdentityX
donde x = mapper o reductor y X = Mapper o Reductor respectivamente.
Me probé y funciona.
sólo para añadir un poco más de detalle: org.apache.hadoop.mapred.lib.IdentityReducer importación es lo que puedo encontrar donde quiera que miro, pero esto no es una nueva clase de API. – kee