Envío de una solicitud de publicación a una página aspx

Question

Tengo una página ASPX en https://searchlight.cluen.com/E5/CandidateSearch.aspx con un formulario en ella, que me gustaría enviar y analizar para obtener información.

Usando urllib y urllib2 de Python Creé una solicitud posterior con los encabezados y el agente de usuario adecuados. Pero la respuesta html resultante no contiene la tabla de resultados esperada. ¿Estoy malentendido o me falta algún detalle obvio?

import urllib 
    import urllib2 

    headers = { 
     'HTTP_USER_AGENT': 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.13)   Gecko/2009073022 Firefox/3.0.13', 
     'HTTP_ACCEPT': 'text/html,application/xhtml+xml,application/xml; q=0.9,*/*; q=0.8', 
     'Content-Type': 'application/x-www-form-urlencoded' 
    } 
    # obtained these values from viewing the source of https://searchlight.cluen.com/E5/CandidateSearch.aspx 
    viewstate = '/wEPDwULLTE3NTc4MzQwNDIPZBYCAg ... uJRWDs/6Ks1FECco=' 
    eventvalidation = '/wEWjQMC8pat6g4C77jgxg0CzoqI8wgC3uWinQQCwr/ ... oPKYVeb74=' 
    url = 'https://searchlight.cluen.com/E5/CandidateSearch.aspx' 
    formData = (
     ('__VIEWSTATE', viewstate), 
     ('__EVENTVALIDATION', eventvalidation), 
     ('__EVENTTARGET',''), 
     ('__EVENTARGUMENT',''), 
     ('textcity',''), 
     ('dropdownlistposition',''), 
     ('dropdownlistdepartment',''), 
     ('dropdownlistorderby',''), 
     ('textsearch',''), 
    ) 

    # change user agent 
    from urllib import FancyURLopener 
    class MyOpener(FancyURLopener): 
     version = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127   Firefox/2.0.0.11' 

    myopener = MyOpener() 

    # encode form data in post-request format 
    encodedFields = urllib.urlencode(formData) 

    f = myopener.open(url, encodedFields) 
    print f.info() 

    try: 
     fout = open('tmp.htm', 'w') 
    except: 
     print('Could not open output file\n') 

    fout.writelines(f.readlines()) 
    fout.close() 

Hay varias preguntas sobre este tema que fueron útiles (como how to submit query to .aspx page in python), pero estoy atascado en esto y pedir ayuda adicional, si eso es posible.

La página html resultante dice que debo iniciar sesión, pero la página aspx aparece en mi navegador sin ningún inicio de sesión.

Éstos son los resultados de la información():

Connection: close Fecha: Mar, 07 Jun 2011 17:05:26 GMT Servidor: Microsoft-IIS/6.0 Powered-X-By : ASP.NET X-AspNet-Version: 2.0.50727 Cache-Control: private Content-Type: text/html; charset = UTF-8 Content-Length: 1944

Answer 1

Intenté mecanizar y urllib2, y mecanizar maneja mejor las cookies. Me puede enviar el formulario simplemente especificando con mecanizar:

browser= mechanize.Browser() 
    browser.select_form(form_name) 
    browser.set_value("Page$Next", name="pagenumber")  

no era necesario para replicar la solicitud postal manualmente, y mecanizar en este caso era capaz de manejar un formulario que se basa en Javascript.

Answer 2

ASP.Net utiliza una característica de seguridad que protege contra la manipulación de la ViewState por embedding specific information in it.

Es más que probable, el servidor está rechazando su solicitud debido a que el ViewState está siendo tratado como si hubiera sido manipulado. No puedo decir esto con absoluta certeza, pero ASP.Net tiene several security features que están incorporados en el marco que pueden estar impidiendo una publicación directa.

Si la sesión está involucrada en absoluto, entonces también deberá tener esto en cuenta. Para simular lo que está haciendo el navegador, deberá realizar los siguientes pasos:

1. Solicite la página.
2. Guarda la recopilación de cookies en una variable.
3. Extraiga el ViewState a una variable.
4. Publique con los valores de formulario apropiados, pasando tanto las cookies guardadas como la información de ViewState junto con la solicitud.

Mucho trabajo que sé, pero no demasiado difícil. Una vez más, puede que esta no sea la única fuente de sus problemas, pero vale la pena leerla para poder comenzar la solución de problemas.