forma más rápida de convertir archivo delimitado por tabulaciones a csv en linux

Question

Tengo un archivo delimitado por tabulaciones que tiene más de 200 millones de líneas. ¿Cuál es la forma más rápida en Linux para convertir esto a un archivo csv? Este archivo tiene varias líneas de información de encabezado que tendré que quitar en el futuro, pero se conoce el número de líneas de encabezado. He visto sugerencias para sed y gawk, pero me pregunto si hay una opción "preferida".

Solo para aclarar, no hay pestañas incrustadas en este archivo.

Answer 1

Si todo lo que necesita hacer es traduzca todos los caracteres de tabulación a los caracteres de coma, tr es probablemente el camino a seguir.

El espacio en blanco aquí es una pestaña literal:

$ echo "hello world" | tr "\\t" "," 
hello,world 

Por supuesto, si usted ha incrustado pestañas dentro de los literales de cadena en el archivo, esto se traducirá incorrectamente esos también; pero las pestañas literales incrustadas serían bastante poco comunes.

Answer 2

Si le preocupan las comas incrustadas, entonces deberá usar un método un poco más inteligente. Aquí hay un script en Python que recibe líneas TSV de la entrada estándar y escribe las líneas CSV a la salida estándar:

import sys 
import csv 

tabin = csv.reader(sys.stdin, dialect=csv.excel_tab) 
commaout = csv.writer(sys.stdout, dialect=csv.excel) 
for row in tabin: 
    commaout.writerow(row) 

ejecutarlo desde una cáscara de la siguiente manera:

python script.py <input.tsv> output.csv 

Answer 3

asumiendo que no desea cambiar la cabecera y asumiendo no tiene pestañas incrustadas

# cat file 
header header header 
one  two  three 

$ awk 'NR>1{$1=$1}1' OFS="," file 
header header header 
one,two,three 

NR> 1 omite el primer encabezado. Usted mencionó que sabe cuántas líneas de encabezado, así que use el número correcto para su propio caso. con esto, tampoco necesitas llamar a ningún otro comando externo. solo un comando awk hace el trabajo.

de otra manera si tiene columnas en blanco y eso le importa.

awk 'NR>1{gsub("\t",",")}1' file 

usando sed

sed '2,$y/\t/,/' file #skip 1 line header and translate (same as tr) 

Answer 4

sed -e 's/"/\\"/g' -e 's/<tab>/","/g' -e 's/^/"/' -e 's/$/"/' infile > outfile 

diablo con los críticos, cita todo, CSV no le importa.

<tab> es el carácter de tabulación real. no funcionó para mí. En bash, use^V para ingresarlo.

Answer 5

perl -lpe 's/"/""/g; s/^|$/"/g; s/\t/","/g' <input.tab> output.csv 

Perl es generalmente más rápido en este tipo de cosas que sed, awk y Python.

Answer 6

la siguiente oneliner awk apoya citando + Cotización en escapar

printf "flop\tflap\"" | awk -F '\t' '{ gsub(/"/,"\"\"\"",$i); for(i = 1; i <= NF; i++) { printf "\"%s\"",$i; if(i < NF) printf "," }; printf "\n" }' 

da

"flop","flap"""" 

Answer 7

@ solución pitón Ignacio Vázquez-Abrams 's es grande! Para las personas que buscan analizar delimitadores de otra pestaña, la biblioteca en realidad le permite establecer delimitadores arbitrarios.Aquí está mi versión modificada para manejar archivos de tubo delimitado por:

import sys 
import csv 

pipein = csv.reader(sys.stdin, delimiter='|') 
commaout = csv.writer(sys.stdout, dialect=csv.excel) 
for row in pipein: 
    commaout.writerow(row) 

Answer 8

• Si desea convertir todo el archivo TSV en un archivo csv:

  $ cat data.tsv | tr "\\t" "," > data.csv 
  

  ---

• Si quieren para omitir algunos campos:

  $ cat data.tsv | cut -f1,2,3 | tr "\\t" "," > data.csv 
  

  The El comando anterior convertirá el archivo data.tsv en el archivo data.csv que contiene solo los primeros tres campos.