¿Por qué las cadenas Unicode de Python requieren un tratamiento especial para la lista de materiales UTF-8?

Question

Por alguna razón, Python parece estar teniendo problemas con BOM al leer cadenas de Unicode de un archivo UTF-8. Considere lo siguiente:

with open('test.py') as f: 
    for line in f: 
     print unicode(line, 'utf-8') 

Parece sencillo, ¿no?

Eso es lo que pensaba hasta que me encontré con él desde la línea de comandos y tengo:

UnicodeEncodeError: 'charmap' codec can't encode character u'\ufeff' in position 0: character maps to <undefined>

Una breve visita a Google reveló que la lista de materiales tiene que ser borrar manualmente:

import codecs 
with open('test.py') as f: 
    for line in f: 
     print unicode(line.replace(codecs.BOM_UTF8, ''), 'utf-8') 

Ésta funciona bien. Sin embargo, estoy luchando para ver algún mérito en esto.

¿Hay alguna razón detrás del comportamiento descrito anteriormente? Por el contrario, UTF-16 funciona sin problemas.

Answer 1

La codificación 'utf-8-sig' consumirá la firma BOM en su nombre.

Answer 2

Usted escribió:

UnicodeEncodeError: 'charmap' codec can't encode character u'\ufeff' in position 0: character maps to <undefined> 

Cuando se especifica la codificación "utf-8" en Python, que le lleva a su palabra. Los archivos UTF-8 no se supone que contengan una lista de materiales en ellos. No son requeridos ni recomendados. Endianness no tiene sentido con unidades de código de 8 bits.

listas de materiales enredar las cosas, también, porque ya no se puede simplemente hacer:

$ cat a b c > abc 

si esos ficheros UTF-8 tienen extraños (es decir: las listas de materiales) en ellos. Vea ahora por qué las listas de materiales son tan estúpidas/malas/dañinas en UTF-8? Ellos realmente rompen cosas.

Una BOM son metadatos, no datos, y la especificación de codificación UTF-8 no tiene en cuenta la forma en que lo hacen las especificaciones UTF-16 y UTF-32. Entonces Python lo tomó en cuenta y siguió las especificaciones. Es difícil culparlo por eso.

Si está tratando de utilizar la lista de materiales como un número mágico de tipo de archivo para especificar el contenido del archivo, realmente no debería estar haciendo eso. Se supone que debes usar un prototipo de nivel superior para estos metadatos, tal como lo harías con un tipo MIME.

Esto es solo otro error cojo de Windows, la solución para la cual es usar la codificación alternativa "utf-8-sig" para pasar a Python.