Hermosa error de codificación Unicode sopa

Question

Estoy tratando el siguiente código HTML con un archivo en particular

from BeautifulSoup import BeautifulSoup 
import re 
import codecs 
import sys 
f = open('test1.html') 
html = f.read() 
soup = BeautifulSoup(html) 
body = soup.body.contents 
para = soup.findAll('p') 
print str(para).encode('utf-8') 

me sale el siguiente error:

UnicodeEncodeError: 'ascii' codec can't encode character u'\u2019' in position 9: ordinal not in range(128) 

Cómo puedo depurar esto?

No obtengo ningún error cuando elimino la función de llamar para imprimir.

Answer 1

El str(para) incorporado intenta utilizar la codificación predeterminada (ascii) para el Unicode en para. Esto se hace antes de la encode() llamada:

>>> s=u'123\u2019' 
>>> str(s) 
Traceback (most recent call last): 
    File "<interactive input>", line 1, in <module> 
UnicodeEncodeError: 'ascii' codec can't encode character u'\u2019' in position 3: ordinal not in range(128) 
>>> s.encode("utf-8") 
'123\xe2\x80\x99' 
>>> 

Try codificación para directamente, tal vez mediante la aplicación de encode("utf-8") a cada elemento de la lista.