Tengo un montón de archivos de registro gzip en s3 que tienen 3 tipos de líneas de registro: b, c, i. i y C son tanto de un solo json nivel:¿Cómo puedo analizar JSON en Pig?
{"this":"that","test":"4"}
Tipo b es profundamente json anidada. Me encontré con este gist hablando de compilar un jar para que esto funcione. Dado que mis habilidades en Java son menos que estelares, realmente no sabía qué hacer desde aquí.
{"this":{"foo":"bar","baz":{"test":"me"},"total":"5"}}
Dado que los tipos I y C no son siempre en el mismo orden, esto hace especificando todo en la generación de expresiones regulares difícil. ¿Es posible manejar JSON (en un archivo gzip'd) con Pig? Estoy utilizando la versión de Pig incluida en una instancia de Amazon Elastic Map Reduce.
Esto se reduce a dos preguntas: 1) ¿Puedo analizar JSON con Cerdo (y si es así, cómo)? 2) Si puedo analizar JSON (desde un archivo de registro gzip'd), ¿puedo analizar los objetos JSON anidados?
"Error al establecer una conexión de base de datos" en el enlace – andreban