¿Cómo puedo abrir un sitio web con urllib vía proxy en Python?

Question

que tienen este programa que comprobar un sitio web, y yo quiero saber cómo puedo comprobarlo a través de proxy en Python ...

este es el código, sólo por ejemplo

while True: 
    try: 
     h = urllib.urlopen(website) 
     break 
    except: 
     print '['+time.strftime('%Y/%m/%d %H:%M:%S')+'] '+'ERROR. Trying again in a few seconds...' 
     time.sleep(5) 

Answer 1

Por defecto, urlopen utiliza la variable de entorno para determinar qué http_proxy proxy HTTP para utilizar:

$ export http_proxy='http://myproxy.example.com:1234' 
$ python myscript.py # Using http://myproxy.example.com:1234 as a proxy 

Si por el contrario desea especificar un proxy dentro de su aplicación, se puede dar una ar proxies gument a urlopen:

proxies = {'http': 'http://myproxy.example.com:1234'} 
print "Using HTTP proxy %s" % proxies['http'] 
urllib.urlopen("http://www.google.com", proxies=proxies) 

Editar: Si entiendo correctamente sus comentarios, quieres probar varios proxies e imprimir cada proxy como lo intentas. ¿Qué tal algo como esto?

candidate_proxies = ['http://proxy1.example.com:1234', 
        'http://proxy2.example.com:1234', 
        'http://proxy3.example.com:1234'] 
for proxy in candidate_proxies: 
    print "Trying HTTP proxy %s" % proxy 
    try: 
     result = urllib.urlopen("http://www.google.com", proxies={'http': proxy}) 
     print "Got URL using proxy %s" % proxy 
     break 
    except: 
     print "Trying next proxy in 5 seconds" 
     time.sleep(5) 

Answer 2

Aquí ejemplo de código guía cómo utilizar urllib para conectarse a través de proxy:

authinfo = urllib.request.HTTPBasicAuthHandler() 

proxy_support = urllib.request.ProxyHandler({"http" : "http://ahad-haam:3128"}) 

# build a new opener that adds authentication and caching FTP handlers 
opener = urllib.request.build_opener(proxy_support, authinfo, 
            urllib.request.CacheFTPHandler) 

# install it 
urllib.request.install_opener(opener) 

f = urllib.request.urlopen('http://www.google.com/') 
""" 

Answer 3

Python 3 es ligeramente diferente aquí. Se tratará de detectar automáticamente la configuración del proxy, pero si necesita ajustes específicos o manual de proxy, pensar en este tipo de código:

#!/usr/bin/env python3 
import urllib.request 

proxy_support = urllib.request.ProxyHandler({'http' : 'http://user:pass@server:port', 
              'https': 'https://...'}) 
opener = urllib.request.build_opener(proxy_support) 
urllib.request.install_opener(opener) 

with urllib.request.urlopen(url) as response: 
    # ... implement things such as 'html = response.read()' 

se refieren también a the relevant section in the Python 3 docs

Answer 4

para HTTP y utilizar https:

proxies = {'http':'http://proxy-source-ip:proxy-port', 
      'https':'https://proxy-source-ip:proxy-port'} 

proxies más se pueden añadir de manera similar

proxies = {'http':'http://proxy1-source-ip:proxy-port', 
      'http':'http://proxy2-source-ip:proxy-port' 
      ... 
      } 

uso

filehandle = urllib.urlopen(external_url , proxies=proxies) 

No utilizar servidores proxy (en el caso de los enlaces dentro de la red)

filehandle = urllib.urlopen(external_url, proxies={}) 

usar proxies autenticación a través de usuario y contraseña

proxies = {'http':'http://username:password@proxy-source-ip:proxy-port', 
      'https':'https://username:password@proxy-source-ip:proxy-port'} 

Nota: evitar el uso de caracteres especiales como :,@ en nombre de usuario y contraseñas