¿Cómo lidiar con cadena unicode en URL en python3?

Question

# -*- coding: utf-8 -*- 
# Python3 
import urllib 
import urllib.request as url_req 
opener = url_req.build_opener() 
url='http://zh.wikipedia.org/wiki/'+"毛泽东" 
opener.open(url).read() 
# opener.open(url.encode("utf-8")).read() 
# # doesn't work either 

Cuando lo ejecuto, se queja de que:

UnicodeEncodeError: 'ascii' codec can't encode characters in position 10-12: ordinal not in range(128)

pero no puedo utilizar ya sea como .encode() se quejará:

Traceback (most recent call last): 
    File "t.py", line 8, in <module> 
    opener.open(url.encode("utf-8")).read() 
    File "/usr/local/Cellar/python3/3.2.2/lib/python3.2/urllib/request.py", line 360, in open 
    req.timeout = timeout 
AttributeError: 'bytes' object has no attribute 'timeout' 

Cualquiera sabe cómo lidiar con eso ?

Answer 1

usted podría utilizar urllib.parse.quote() para codificar la sección de camino de la URL.

#!/usr/bin/env python3 
from urllib.parse import quote 
from urllib.request import urlopen 

url = 'http://zh.wikipedia.org/wiki/' + quote("毛泽东") 
content = urlopen(url).read() 

Answer 2

No puede usar cadenas de Unicode arbitrarias como parte de una URL. La URL debe estar correctamente codificada en . Consulte aquí para más detalles:

http://www.w3schools.com/tags/ref_urlencode.asp

En particular, se desea utilizar el urllib.quote() o el método urllib.quote_plus() de la API de Python para citar su URL correctamente.

http://docs.python.org/library/urllib.html

Answer 3

El fantástico requests biblioteca lo hace por usted fuera de la caja:

>>> url='http://zh.wikipedia.org/wiki/'+"毛泽东" 
>>> import requests 
>>> r = requests.get(url) 
>>> len(r.content) 
818747