Python: ¿Cómo fuerzo la salida del archivo iso-8859-1?

Question

¿Cómo fuerzo Latin-1 (que supongo significa iso-8859-1?) Salida de archivo en Python?

Aquí está mi código por el momento. Funciona, pero intentar importar el archivo de salida resultante en una tabla Latin-1 MySQL produce weird encoding errors.

outputFile = file("textbase.tab", "w") 
for k, v in textData.iteritems(): 
    complete_line = k + '~~~~~' + v + '~~~~~' + " ENDOFTHELINE" 
    outputFile.write(complete_line) 
    outputFile.write("\n") 
outputFile.close() 

El archivo de salida resultante parece estar guardado en "occidental (Mac OS Romano)", pero si luego guardarlo en América-1, sigo teniendo problemas de codificación extrañas. ¿Cómo puedo asegurarme de que las cadenas utilizadas y el archivo en sí estén codificados en Latin-1 tan pronto como se generan?

Las cadenas originales (en el diccionario textData) han sido analizadas desde un archivo RTF; no sé si eso hace la diferencia.

Soy un poco nuevo en Python y para la codificación en general, así que me disculpo si esta es una pregunta tonta. He intentado mirar los documentos pero no he llegado muy lejos.

Estoy usando Python 2.6.1.

Answer 1

Sólo tiene que utilizar el módulo codecs para escribir el archivo:

import codecs 
outputFile = codecs.open("textbase.tab", "w", "ISO-8859-1") 

Por supuesto, las cadenas que escribe tiene que ser cadenas Unicode (tipo unicode), no van a ser convertidos si son lisos str objetos (que son básicamente solo matrices de bytes). Supongo que también está leyendo el archivo RTF con el objeto de archivo Python normal, por lo que es posible que también tenga que convertirlo en codecs.open.

Answer 2

Creo que es justo:

outputFile = file("textbase.tab", "wb") 
for k, v in textData.iteritems(): 
    complete_line = k + '~~~~~' + v + '~~~~~' + " ENDOFTHELINE" 
    outputFile.write((complete_line + "\n").encode("iso-8859-1")) 
    outputFile.close() 

Como aludido, es necesario asegurarse de que está decodificando el archivo RTF correctamente también. Para que esto funcione, k y v deben ser objetos unicode.

Answer 3

El principal problema aquí es que no sabe en qué codificación están sus datos. Si asumimos que tiene razón en que su archivo termina en Mac OS Roman, primero debe decodificar los datos para unicode , y luego codificarlo como iso-8859-1.

inputFile = open("input.rtf", "rb") # The b flag is just a marker in Python 2. 
data = inputFile.read().decode('mac_roman') 
textData = yourparsefunctionhere(data) 

outputFile = open("textbase.tab", "wb") # don't use file() 
for k, v in textData.iteritems(): 
    complete_line = k + '~~~~~' + v + '~~~~~' + " ENDOFTHELINE" 
    outputFile.write((complete_line + "\n").encode("iso-8859-1")) 
    outputFile.close() 

Pero no me sorprendería, ya que es RTF, si es codificado de Windows, por lo que es posible que desee probar eso también. No sé cómo RTF especifica la codificación.

Answer 4

Para mí io.open, trabaja un poco más rápido en Python 2.7 para las escrituras, y un orden de magnitud más rápido para lecturas:

import io 
with io.open("textbase.tab", "w", encoding="ISO-8859-1") as outputFile: 
    ... 

en Python 3, sólo puede pass the encoding keyword arg to open.