Anulando urllib2.HTTPError o urllib.error.HTTPError y leyendo HTML de todas formas respuesta

Question

Recibo una respuesta 'HTTP Error 500: Internal Server Error', pero aún quiero leer los datos dentro del error HTML.

con Python 2.6, que normalmente obtener una página usando:

import urllib2 
url = "http://google.com" 
data = urllib2.urlopen(url) 
data = data.read() 

al intentar utilizar esto en la URL en su defecto, consigo la excepción urllib2.HTTPError:

urllib2.HTTPError: HTTP Error 500: Internal Server Error 

¿Cómo puedo ir a buscar tales páginas de error (con o sin urllib2), todo mientras devuelven errores internos del servidor?

Tenga en cuenta que con Python 3, la excepción correspondiente es urllib.error.HTTPError.

Answer 1

El HTTPError . Puede capturarlo y luego read su contenido.

try: 
    resp = urllib2.urlopen(url) 
    contents = resp.read() 
except urllib2.HTTPError, error: 
    contents = error.read() 

Answer 2

Si quiere decir que desea leer el cuerpo de la 500:

request = urllib2.Request(url, data, headers) 
try: 
     resp = urllib2.urlopen(request) 
     print resp.read() 
except urllib2.HTTPError, error: 
     print "ERROR: ", error.read() 

En su caso, no es necesario para construir la petición. Solo haga

try: 
     resp = urllib2.urlopen(url) 
     print resp.read() 
except urllib2.HTTPError, error: 
     print "ERROR: ", error.read() 

por lo tanto, no invalide urllib2.HTTPError, solo maneje la excepción.

Answer 3

alist=['http://someurl.com'] 

def testUrl(): 
    errList=[] 
    for URL in alist: 
     try: 
      urllib2.urlopen(URL) 
     except urllib2.URLError, err: 
      (err.reason != 200) 
      errList.append(URL+" "+str(err.reason)) 
      return URL+" "+str(err.reason) 
    return "".join(errList) 

testUrl()