Cómo convertir final de línea de Windows en Unix fin de línea (CR/LF a LF)

Question

Soy un desarrollador de Java y estoy usando Ubuntu para desarrollar. El proyecto se creó en Windows con Eclipse y está usando la codificación CP1252.

Convertir en UTF-8 He utilizado el programa de recodificación:

find Web -iname \*.java | xargs recode CP1252...UTF-8 

este comando da este error:

recode: Web/src/br/cits/projeto/geral/presentation/GravacaoMessageHelper.java failed: Ambiguous output in step `CR-LF..data 

He serached sobre ello y buscar la solución aquí: http://fvue.nl/wiki/Bash_and_Windows#Recode:_Ambiguous_output_in_step_.60data..CR-LF.27 y dice:

Convert line endings from CR/LF to a single LF: Edit the file with vim , give the command :set ff=unix and save the file. Recode now should run without errors.

agradable pero he muchos archivos para eliminar el carácter CR/LF, No puedo abrir cada uno para hacerlo. Vi no proporciona ninguna opción a la línea de comando para operaciones de bash.

sed se puede utilizar para hacer esto? Cómo ?

Thankx =)

Answer 1

Debe haber un programa llamado dos2unix que va a arreglar los finales de línea para usted. Si aún no está en su caja Linux, debería estar disponible a través del administrador de paquetes.

Answer 2

El comando tr también puede hacer esto:

tr -d '\ 15 \ 32' < winfile.txt> unixfile.txt

y debe estar disponible para usted.

Deberá ejecutar tr desde una secuencia de comandos, ya que no puede funcionar con los nombres de archivo. Por ejemplo, crear un archivo de myscript.sh:

#!/bin/bash 

cd ${1} 
for f in `find -iname \*.java`; do 
    echo $f 
    tr -d '\15\32' < $f > $f.tr 
    mv $f.tr $f 
    recode CP1252...UTF-8 $f 
done 

Correr Web myscript.sh procesaría todos los archivos de Java Web en carpeta.

Answer 3

Regrese a Windows, diga a Eclipse que cambie la codificación a UTF-8, luego regrese a Unix y ejecute d2u en los archivos.

Answer 4

¿Has probado el python script by Bryan Maupin found here? (He modificado un poco para ser más genérico)

#!/usr/bin/env python 

import sys 

input_file_name = sys.argv[1] 
output_file_name = sys.argv[2] 

input_file = open(input_file_name) 
output_file = open(output_file_name, 'w') 

line_number = 0 

for input_line in input_file: 
    line_number += 1 
    try: # first try to decode it using cp1252 (Windows, Western Europe) 
     output_line = input_line.decode('cp1252').encode('utf8') 
    except UnicodeDecodeError, error: # if there's an error 
     sys.stderr.write('ERROR (line %s):\t%s\n' % (line_number, error)) # write to stderr 
     try: # then if that fails, try to decode using latin1 (ISO 8859-1)   
      output_line = input_line.decode('latin1').encode('utf8') 
     except UnicodeDecodeError, error: # if there's an error 
      sys.stderr.write('ERROR (line %s):\t%s\n' % (line_number, error)) # write to stderr 
      sys.exit(1) # and just keep going 
    output_file.write(output_line) 

input_file.close() 
output_file.close() 

puede utilizar ese guión con

$ ./cp1252_utf8.py file_cp1252.sql file_utf8.sql 

Answer 5

Para superar

Ambiguous output in step `CR-LF..data' 

simplemente solución podría ser agregue el indicador -f para forzar la conversión.

Answer 6

sed no puede coincidir \ n porque la nueva línea final se elimina antes de la línea se coloca en el espacio del patrón pero puede coincidir con \ r, por lo que puede convertir \ r \ n (dos) en \ n (unix) quitando \ r

sed -i 's/\r//g' file 

Advertencia: esto va a cambiar el archivo original

sin embargo, no se puede cambiar de Unix EOL a dos o mac de edad (\ r) por esto. Más lecturas aquí:

How can I replace a newline (\n) using sed?

Answer 7

En realidad, Vim permiten lo que estás buscando. Introduzca vim, y escribe los siguientes comandos:

:args **/*.java 
:argdo set ff=unix | update | next 

El primero de estos comandos establece la lista de argumentos a cada archivo que coincida con **/*.java, que es de todos los archivos de Java, de forma recursiva. El segundo de estos comandos hace lo siguiente para cada archivo en la lista de argumentos, a su vez:

• Establece las terminaciones de líneas de estilo Unix (eso ya lo sabe)
• escribe el archivo de salida si y sólo si se ha cambiado
• pasa al siguiente archivo

Answer 8

voy a tomar una pequeña excepción a la respuesta de Jichao. En realidad, puede hacer todo lo que acaba de hablar con bastante facilidad. En lugar de buscar un \ n, simplemente busque el feed de formulario al final de la línea.

sed -i 's/\r$//' ${FILE_NAME} 

para cambiar de nuevo a unix dos, simplemente busque el último carácter en la línea y agregar un salto de página a la misma. (Voy a añadir -r para hacer esto más fácil con las expresiones regulares grep.)

sed -ri 's/(.)$/\1\r/ ${FILE_NAME} 

Teóricamente, el archivo podría ser cambiado a estilo Mac mediante la adición de código para el último ejemplo de que también añade la siguiente línea de entrada para la primera línea hasta que todas las líneas hayan sido procesadas. Sin embargo, no intentaré dar ese ejemplo aquí.

Advertencia: -i cambia el archivo real. Si desea que se realice una copia de seguridad, agregue una cadena de caracteres después de -i. Esto moverá el archivo existente a un archivo con el mismo nombre con los caracteres agregados al final.