Cómo manejar codificaciones usando la biblioteca Python Requests

Question

He tenido problemas con las codificaciones durante demasiado tiempo, y hoy quiero romper el bloque mental de par en par.

En este momento, estoy usando Requests para raspar un montón de sitios web, y de lo que puedo decir es usando los encabezados HTTP para descubrir las codificaciones que están usando las páginas, volviendo al chardet cuando los encabezados del sitio están perdidos. A partir de ahí, decodifica el bytecode que descarga, y luego me entrega amablemente un objeto Unicode en r.text.

Todo bien.

Pero dónde estoy confundido es que a partir de ahí que hago un trabajo sobre el texto y luego imprimirlo en la salida estándar, proporcionando una codificación al imprimir:

print foo.encode('utf-8') 

El problema es que cuando lo haga eso, lo que está impreso está en mal estado. En lo que sigue, espero obtener una emdash entre la palabra 'juicios' y 'estándar':

Declaratory judgmentsStandard of review. 

En cambio, me sale la cosa en forma de caja con los cuatro números pequeños en el mismo. No parece a aparecer aquí, por supuesto, pero creo que los números son 0097, que corresponde a lo que me pasa si hago:

repr(foo) 
u'Declaratory judgments\x97Standard of review.' 

Así que ese tipo de tiene sentido, pero ¿dónde está mi emdash?

El proceso se reduce a:

1. solicitudes descarga una página y de forma inteligente decodifica el texto a un objeto Unicode
2. que trabajar con él
3. que codificar a UTF-8 e imprimir fuera.

¿Dónde está el problema? Esto me suena como el mythical unicode sandwich, pero claramente me falta algo.

Answer 1

Estás haciendo algo extraño. \x97 es un emdash en la codificación cp1252. En una cadena Unicode, es U+0097 END OF GUARDED AREA. De alguna manera, estás leyendo cp1252 bytes como Unicode. Muestra más del código que te llevó a este estado, y podemos profundizar más.

PD: el sándwich Unicode no es mítico, ¡es un ideal para luchar! :)