Firefox/Webkit sin cabeza, con secuencias de comandos en Linux?

Question

Estoy buscando automatizar algunas interacciones web, es decir, la descarga periódica de archivos desde un sitio web seguro. Esto básicamente implica ingresar mi nombre de usuario/contraseña y navegar a la URL apropiada.

Intenté crear scripts simples en Python, seguidos de scripts más sofisticados, solo para descubrir que este sitio web en particular utiliza algún mecanismo desagradable basado en Javascript y flash para iniciar sesión, haciendo que mis métodos resulten inútiles.

Probé HTMLUnit, pero parece que tampoco quiere funcionar. Sospecho que el uso de Flash es el problema.

Realmente no quiero pensar más en eso, así que me inclino por escribir un navegador para iniciar sesión y tomar el archivo que necesito.

Los requisitos son:

• Ejecutar en servidor Linux (es decir, sin X corriendo.). Si realmente necesito tener X, puedo lograrlo, pero no seré feliz.
• Sea confiable. Quiero comenzar esto y nunca pensar en eso otra vez.
• Sea scriptable. Nada demasiado sofisticado, pero debería ser capaz de decirle al navegador los diversos pasos a seguir y las páginas para visitar.

¿Existen buenos juegos de herramientas para un navegador sin caracteres X-less con secuencias de comandos? ¿Has probado algo como esto y si es así tienes alguna palabra de sabiduría?

Answer 1

Realicé tareas relacionadas con IE embedded browser (aunque era una aplicación gui con el panel de componentes del navegador oculto). En realidad, puede tomar cualquier layout engine y cortar la lógica de salida. La navegación se debe hacer disparando eventos tipo script.

Puede usar Crowbar. Es la versión sin cabeza de firefox (motor Gecko). Convierte el navegador en un servidor RESTful que puede aceptar solicitudes ("buscar URL"). Por lo tanto, analizará html, lo representará como DOM, esperará la demora definida para todos los scripts realizados.

Funciona en Linux. Supongo que puede ampliarlo fácilmente para su objetivo usando JS y las habilidades ricas de XULrunner.

Answer 2

No sé cómo hacer interacciones flash (y también estoy interesado), pero para html/javascript puede usar Chickenfoot.

Y para obtener un navegador headlined + scriptable que funcione en Linux, puede usar el Qt webkit library. Here is an example use.

Answer 3

¿Qué hay de phantomjs?

Answer 4

¿Has probado Selenium? Te permitirá grabar un escenario de uso, usando una extensión para Firefox, que luego se puede reproducir usando varios métodos diferentes.

Editar: Me di cuenta de que esta fue una respuesta muy tardía. :)

Answer 5

Eche un vistazo a WebKitDriver. El proyecto incluye la implementación sin cabeza de WebKit.

Answer 6

iMacros para Linux que permite la escritura de Firefox y Chrome: http://wiki.imacros.net/Linux

Answer 7

Para lograr esto, acabo de escribir extensiones de Chrome que se registren en CouchDBs (example y su Futon). Agregue el sofá a los permisos en el manifiesto para permitir XHRs entre dominios.

(llegué a este hilo en busca de una alternativa sin cabeza a lo que he estado haciendo, después de haber encontrado este hilo, voy a tratar Palanca en algún momento.)

Además, teniendo en cuenta la extraña características de este sitio web, no puedo evitar preguntarme si puede explotar algún agujero de seguridad para evitar Flash y Javascript.