Quiero los archivos de salida en el formato 2012117-part-r-00000. Básicamente quiero que el archivo de salida tenga la fecha adjunta, de modo que pueda organizar los archivos según la fecha. Miré OutputFormat y FileOutputFormat, pero no ayuda en mi caso.cómo dar un nombre personalizado a los archivos de salida de hadoop
simplemente me enteré de la nueva API, puedo usar org.apache.hadoop.mapreduce.lib.output.MultipleOutputs y el método addNamedOutput()
No hay mucha flexibilidad en el nombre del archivo de salida del trabajo MR. Use las subclases del MultipleOutputFormat.
Tiene que implementarse el método MultipleOutputFormat#generateFileNameForKeyValue, ignore las entradas de este método y devuelva una cadena en el patrón date + -part-r- + mapred.task.partition. mapred.task.partition es un int, por lo que tiene que rellenarse previamente con 0 de manera apropiada.
¿No hay manera fácil, en una de las versiones anteriores supongo que tuvimos la opción como FileOutputFormat.setOutputName (JobConf trabajo, nombre de cadena); Además, mi clase de reductor ya está ampliando Reducer, por lo que se deberá ampliar otra clase. – RFT
No veo eso en la API de Hadoop. –
Ok, pero como mencioné mi clase de reducción ya está ampliando otra clase, ¿puedo incluir una clase estática y hacer que esa clase amplíe MultipleOutputFormat y luego llamar a la clase desde algún lugar? – RFT
¿es posible cambiar el nombre de los archivos de salida de Sqoop? –