6
Tengo un gran archivo CSV (7.3GB; 16,300,000 líneas), ¿cómo puedo dividir este archivo en dos archivos?¿Cómo puedo dividir archivos grandes?
A
Respuesta
16
¿Has echado un vistazo al comando split? Consulte thishombre página para obtener más información.
Este page contiene un ejemplo de uso de este comando.
Aparte:
el comando man -k es bastante útil para encontrar comandos UNIX/LINUX si no está muy seguro de lo que el comando específico es. Especifique una palabra clave con el comando man -k y el sistema extraerá los comandos relacionados. Por ejemplo,
% man -k split
se Rendimiento:
csplit (1) - split a file into sections determined by context lines
dirsplit (1) - splits directory into multiple with equal size
dpkg-split (1) - Debian package archive split/join tool
gpgsplit (1) - Split an OpenPGP message into packets
pnmsplit (1) - split a multi-image portable anymap into multiple single-image files
ppmtoyuvsplit (1) - convert a portable pixmap into 3 subsampled raw YUV files
split (1) - split a file into pieces
splitdiff (1) - separate out incremental patches
splitfont (1) - extract characters from an ISO-type font.
URI::Split (3pm) - Parse and compose URI strings
wcstok (3) - split wide-character string into tokens
yuvsplittoppm (1) - convert a Y- and a U- and a V-file into a portable pixmap
zipsplit (1) - split a zipfile into smaller zipfiles
1
división -n -d l/N tempfile.part filename.csv.
divide el archivo en N archivos sin dividir las líneas. Como se mencionó en los comentarios anteriores, el encabezado no se repite en cada archivo.
Cuestiones relacionadas
- 1. Dividir archivos grandes usando PHP
- 2. Cómo dividir archivos grandes de manera eficiente
- 3. ¿Cómo puedo manejar archivos grandes en Ruby?
- 4. Comando de shell para dividir archivos grandes en 10 archivos más pequeños
- 5. ¿Cómo organizar grandes archivos de código?
- 6. Cómo dividir el código en componentes ... ¿grandes clases? clases pequeñas?
- 7. Algoritmo para dividir números muy grandes
- 8. ¿Cómo puedo dividir mi código Perl en varios archivos?
- 9. ¿Cómo puedo dividir una aplicación de JavaScript en varios archivos?
- 10. ¿Cómo puedo cargar archivos grandes (~ 150MB) en MATLAB?
- 11. Subidas de archivos grandes
- 12. Cómo abrir y dividir varios archivos
- 13. Resharper con archivos grandes o * muy * grandes
- 14. Procesando archivos xml grandes
- 15. CodeIgniter Cargando archivos grandes
- 16. Oscilación Archivos grandes Rendimiento
- 17. java: ¿escribir archivos grandes?
- 18. Cómo transmitir archivos grandes usando JAXB Marshaller?
- 19. Cómo precomprimir archivos html muy grandes
- 20. Cómo dividir routes.rb en archivos más pequeños
- 21. NAudio para dividir archivos mp3
- 22. ¿Cómo comparar archivos de texto grandes?
- 23. ¿Puedo dividir mi clase C# en varios archivos?
- 24. Cómo escribir archivos (grandes) con Ruby Eventmachine
- 25. Cómo base64 decodificar archivos grandes en PHP
- 26. ¿Cuál es la mejor manera de dividir archivos grandes en Python para multiprocesamiento?
- 27. Sirviendo archivos grandes protegidos en PHP/Apache
- 28. Rechazar archivos grandes en git
- 29. Problemas con los GRANDES archivos XML
- 30. ¿Fread falla para archivos grandes?
Hola, la sintaxis es la correcta? ** split --lines = 5 1.csv ** – sprabhakaran
@spk: la sintaxis es correcta, pero esto dividiría su archivo en 3,260,000 archivos. Debe elegir un valor más alto, cualquier cantidad superior a 8,150,000 y menos de 16,300,000 creará dos archivos. – Zeta
Como @spk mencionó al seleccionar los valores correctos hará lo que quiera. Si alguna de las preguntas que hizo en SO proporcionó la respuesta correcta a sus preguntas, no dude en aceptarlas - http://meta.stackexchange.com/questions/5234/how-does-accepting-an-answer-work – Levon