Muestreo de archivos de datos grandes

Actualmente trabajo en el puesto de programador de Data Warehouse y, como tal, tengo que colocar numerosos archivos planos a través del proceso ETL. Por supuesto, antes de cargar el archivo, tengo que estar al tanto de su contenido, el problema es que la mayoría de los archivos tienen más de 1 GB y no puedo abrirlos con mi querido "bloc de notas". Bromeando. Usualmente utilizo VIM o Notepad ++ pero aún me lleva un tiempo abrir el archivo. ¿Podría realizar una lectura "parcial" del archivo usando VIM o algún otro editor?Muestreo de archivos de datos grandes

P.S. Sé que podría escribir un guión de 10 líneas para "tomar una muestra de datos" del archivo, pero sería más sencillo convencer a los miembros del equipo para que utilicen una característica de un editor que un guión que escribí.

Gracias por cualquier idea que pueda tener.

Fuente

2010-04-01 a_person

Si desea seguir utilizando vim, podría echar un vistazo a la secuencia de comandos LargeFile.

Alternativamente, siempre he encontrado que UltraEdit abre grandes archivos extremadamente rápido.

Fuente

2010-04-01 18:52:26

¡Es una gran sugerencia! ¡Gracias! –

Dijiste que tenías VIM, ¿eso me hace pensar si también tienes un entorno Unix?

Si lo desea, puede canalizar la entrada a través de la utilidad Unix top y mostrar la imput raw en su pantalla. De esta manera:

EDITAR: (gracias Honk)

terminal$> head -N 15 file.csv

(¿Dónde que 15 indica que desea ver sólo 15 líneas).

Fuente

2010-04-01 18:53:12

No estoy seguro de si 'top' es especial en Unixes de mainframe, pero en Linux debe insertar' head -n 15'. –

O incluso evitaría el 'cat' innecesario con' head -n 15 file.csv'. Esto también debería ser órdenes de magnitud más rápido. –

Gracias, pero soy solo un gran admirador de UNIX, nuestro entorno está basado en MS stack. –

Bastante seguro de que hay un montón de preguntas similares, pero bueno, Textpad es una buena opción para esto.

Fuente

2010-04-01 18:54:30 Simon

Verificado y confirmado. Textpad abrió un archivo de 1.3 GB sin problemas en 6 segundos para mí (aunque guardarlo tomó mucho más tiempo). –

TextPad terminó siendo demasiado lento cuando se le encargó abrir el archivo, demorando bastante más que el Notepad ++. –

UltraEdit reclamaciones para manejar archivos de más de 4 GB ...

Fuente

2010-04-01 18:57:20

utilice el comando cabeza.

Fuente

2010-04-01 19:03:24 frankc

Utilice el 'menos' en solaris ... use el mismo a través de cygwin en Windows. En mainframes este problema no aparece, el editor de ISPF lo maneja bastante bien.

Fuente

2010-04-01 19:24:52 ankur

CYGWIN también maneja 'less', y' top' –

Muestreo de archivos de datos grandes

Respuesta

Cuestiones relacionadas