Decodificación de entidades HTML con Python

Question

Estoy intentando decodificar las entradas HTML desde aquí NYTimes.com y no puedo entender lo que estoy haciendo mal.

Tomemos, por ejemplo:

"U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’" 

He intentado BeautifulSoup, decodificar ('iso-8859-1'), y smart_str de django.utils.encoding sin ningún éxito.

Answer 1

Prueba esto:

import re 

def _callback(matches): 
    id = matches.group(1) 
    try: 
     return unichr(int(id)) 
    except: 
     return id 

def decode_unicode_references(data): 
    return re.sub("&#(\d+)(;|(?=\s))", _callback, data) 

data = "U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’" 
print decode_unicode_references(data) 

Answer 2

Esto funciona:

from BeautifulSoup import BeautifulStoneSoup 
s = "U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’" 
decoded = BeautifulStoneSoup(s, convertEntities=BeautifulStoneSoup.HTML_ENTITIES) 

Si quieres una cadena en lugar de un objeto Unicode, que necesitará para decodificarlo a una codificación que los soportes los personajes que se usan; ISO-8859-1 no:

result = decoded.encode("UTF-8") 

Es lamentable que necesite un módulo externo para algo como esto; la decodificación sencilla de las entidades HTML/XML debe estar en la biblioteca estándar, y no requerir que utilice una biblioteca con nombres de clases sin sentido como "BeautifulStoneSoup". (Los nombres de clases y funciones no deben ser "creativos", deben ser significativos.)

Answer 3

En realidad, lo que tiene no son entidades HTML. Hay TRES variedades de esos & .....; thingies - por ejemplo       all mean U + 00A0 NO-BREAK SPACE.

  (el tipo que tiene) es una "referencia de caracteres numéricos" (decimal).
  es una "referencia de caracteres numéricos" (hexadecimal).
  es una entidad.

Más información: http://htmlhelp.com/reference/html40/entities/

Aquí encontrará código para python2.X que hace las tres cosas en una exploración a través de la entrada: http://effbot.org/zone/re-sub.htm#unescape-html

Answer 4

>>> from HTMLParser import HTMLParser 
>>> print HTMLParser().unescape('U.S. Adviser’s Blunt Memo on Iraq: ' 
...        'Time ‘to Go Home’') 
U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’ 

La función no está documentada en Python 2. It is fixed in Python 3.4+: está expuesto como html.unescape() there.