Cómo manejar la codificación respuesta de urllib.request.urlopen()

Question

Estoy tratando de buscar una página web usando expresiones regulares, pero estoy consiguiendo el error siguiente:

TypeError: can't use a string pattern on a bytes-like object

entiendo por qué, urllib. request.urlopen() devuelve un bytestream y por lo tanto, al menos estoy adivinando, re no sabe qué codificación usar. ¿Qué se supone que debo hacer en esta situación? ¿Hay alguna forma de especificar el método de codificación en una solicitud en línea? ¿Necesitaré volver a codificar la cadena? Si es así, ¿qué estoy buscando hacer, supongo que debería leer la codificación de la información del encabezado o el tipo de codificación si se especifica en el html y luego volver a codificarlo a eso?

Answer 1

Solo tiene que decodificar la respuesta, utilizando el encabezado Content-Type, generalmente el último valor. También hay un ejemplo dado en the tutorial.

output = response.decode('utf-8') 

Answer 2

después de hacer una solicitud req = urllib.request.urlopen(...) tiene que leer la solicitud llamando al html_string = req.read() que le dará la respuesta de cadena que luego puede analizar de la manera que desee.

Answer 3

urllib.urlopen(url).headers.getheader('Content-Type') 

seria algo como esto:

text/html; charset=utf-8

Answer 4

En cuanto a mí, la solución es la siguiente (python3):

resource = urllib.request.urlopen(an_url) 
content = resource.read().decode(resource.headers.get_content_charset()) 

Answer 5

que tenía los mismos problemas durante los últimos dos días. Finalmente tengo una solución. estoy usando el método del objeto devuelto por urlopen()info():

req=urllib.request.urlopen(URL) 
charset=req.info().get_content_charset() 
content=req.read().decode(charset) 

Answer 6

Con requests:

import requests 

response = requests.get(URL).text 

Answer 7

ninguna de estas respuestas me funciona en Python 3.5x utilizando urllib.request porque urllib .request.urlopen (url) literalmente devuelve SOLAMENTE una secuencia de bytes - NO tiene funciones miembro para analizar ningún tipo de encabezado en el html. Entonces no hay información(), no hay encabezados, etc. Tendría que analizarlo yo mismo para encontrar la codificación, pero sin la codificación no puedo convertirla en texto para analizarla. Es una captura 22.