Cómo convertir BeautifulSoup.ResultSet a la cadena

Question

Así que analicé una página html con .findAll (BeautifulSoup) a la variable llamada result. Si escribo result en terminal de Python continuación, pulse Intro, veo texto normal como se esperaba, pero como quería posprocesarlos este resultado como objeto de cadena, he notado que str(result) retornos de basura, como este ejemplo:

\xd1\x87\xd0\xb8\xd0\xbb\xd0\xbd\xd0\xb8\xd1\x86\xd0\xb0</a><br />\n<hr />\n</div> 

HTML la fuente de la página es utf-8 codificada

¿Cómo puedo manejar esto?

---

Código es básicamente esto, en caso de que importa:

from BeautifulSoup import BeautifulSoup 
soup = BeautifulSoup(urllib.open(url).read()) 
result = soup.findAll(something) 

Python es 2,7

Answer 1

Python 2.6.7 BeautifulSoup. versión 3.2.0

Esto funcionó para mí:

unicode.join(u'\n',map(unicode,result)) 

estoy bastante seguro de que un result es un objeto BeautifulSoup.ResultSet, lo que parece ser una extensión de la lista estándar de Python

Answer 2

Eso no es basura, eso es de texto con codificación UTF-8. Use Unicode instead.

Answer 3

Utilice esta:

unicodedata.normalize('NFKC', p.decode()).encode('ascii','ignore') 

Unicode tiene multiple normalization forms Esa salida no debe ser basura.
Utilice el atributo originalEncoding para verificar el esquema de codificación. Con respecto a las implementaciones
Unicode de Python, se refieren this document (incluso para la normalización)

Answer 4

from BeautifulSoup import BeautifulSoup 
soup = BeautifulSoup(urllib.open(url).read()) 
#findAll should get multiple parsed result 
result = soup.findAll(something) 
#then iterate result 
for line in result: 
    #get str value from each line,replace charset with utf-8 or other charset you need 
    print line.__str__('charset') 

BTW: La versión de BeautifulSoup es beautifulsoup-3.2.1