Cómo acelerar el urllib2 de Python al hacer varias solicitudes

Question

Estoy haciendo varias solicitudes http a un host en particular usando la biblioteca urllib2 de python. Cada vez que se realiza una solicitud, se crea una nueva conexión http y tcp que toma una cantidad de tiempo notable. ¿Hay alguna forma de mantener viva la conexión tcp/http usando urllib2?

Answer 1

Si cambia a httplib, tendrá un control más preciso sobre la conexión subyacente.

Por ejemplo:

import httplib 

conn = httplib.HTTPConnection(url) 

conn.request('GET', '/foo') 
r1 = conn.getresponse() 
r1.read() 

conn.request('GET', '/bar') 
r2 = conn.getresponse() 
r2.read() 

conn.close() 

Esto enviaría 2 HTTP GET en la misma conexión TCP subyacente.

Answer 2

He usado la biblioteca de terceros urllib3 con buenos resultados en el pasado. Está diseñado para complementar urllib2 agrupando conexiones para su reutilización.

ejemplo Modificado de the wiki:

>>> from urllib3 import HTTPConnectionPool 
>>> # Create a connection pool for a specific host 
... http_pool = HTTPConnectionPool('www.google.com') 
>>> # simple GET request, for example 
... r = http_pool.urlopen('GET', '/') 
>>> print r.status, len(r.data) 
200 28050 
>>> r = http_pool.urlopen('GET', '/search?q=hello+world') 
>>> print r.status, len(r.data) 
200 79124 

Answer 3

Si necesita algo más automático que httplib llano, esto podría ayudar, aunque no es THREADSAFE.

try: 
    from http.client import HTTPConnection, HTTPSConnection 
except ImportError: 
    from httplib import HTTPConnection, HTTPSConnection 
import select 
connections = {} 


def request(method, url, body=None, headers={}, **kwargs): 
    scheme, _, host, path = url.split('/', 3) 
    h = connections.get((scheme, host)) 
    if h and select.select([h.sock], [], [], 0)[0]: 
     h.close() 
     h = None 
    if not h: 
     Connection = HTTPConnection if scheme == 'http:' else HTTPSConnection 
     h = connections[(scheme, host)] = Connection(host, **kwargs) 
    h.request(method, '/' + path, body, headers) 
    return h.getresponse() 


def urlopen(url, data=None, *args, **kwargs): 
    resp = request('POST' if data else 'GET', url, data, *args, **kwargs) 
    assert resp.status < 400, (resp.status, resp.reason, resp.read()) 
    return resp