Me gustaría saber cuál es el código generado por el compilador de SQL Hive (es decir, si ejecuto una oración sql me gustaría ver el código de las tareas de MapReduce generadas por el compilador de SQL).¿Cómo puedo obtener los códigos fuente de MapReduce Jobs generados por el compilador Hive?
¿Cómo puedo obtenerlo?
Para Hive, serializa el plan físico en un archivo xml (página 15 en http://www.slideshare.net/nzhang/hive-anatomy). Por lo tanto, no creo que los usuarios puedan obtener los códigos fuente reales para hadoop. Para obtener el código, puede probar YSmart (http://ysmart.cse.ohio-state.edu/). Es un traductor que traducirá sus consultas sql al código fuente java para hadoop. Puede usar la versión en línea de YSmart. Solo envíe el esquema y su consulta, podrá ver y descargar el código java.
Muchas gracias !! Acababa de encontrar que el plan estaba serializado en archivos xml y se almacenan en el sistema de archivos hdfs en el directorio /tmp/hive-${user.name}/ de forma predeterminada. Y lo confirmas Por otro lado, gracias por el proyecto ysmart puede ayudarme. Lo que sucede es que soy interesante en comprender el proceso realizado por el compilador de Hive desde el analizador hasta la ejecución. ¿Tienes alguna información que pueda ayudarme? Muchas gracias. – user1180761
además de la presentación que mencioné, probablemente desee ver el código fuente de la Colmena (comience desde 'org.apache.hadoop.hive.ql.Driver.compile (String, boolean)'). El trabajo de cumplimiento se realiza en 'org.apache.hadoop.hive.ql.parse.SemanticAnalyzer' y puede ver' org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeInternal (ASTNode) '. Además, compruebe 'org.apache.hadoop.hive.ql.optimizer.Optimizer' para optimizadores. Espero que esta información te pueda ayudar. – yhuai