quiero ejecutar un programa continuamente en appengine.This programa rastreará automáticamente un sitio web continuamente y almacenará los datos en su base de datos. ¿Es posible que el programa continúe haciéndolo en appengine? matar el proceso?rastreador en appengine
Nota: La página web que se va a rastrear no se almacena en appengine
quiero ejecutar un programa contínuamente en appengine.
Can not.
Lo más cerca que se puede conseguir es fondo duración scheduled tasks que duran no more than 30 seconds:
En particular, esto significa que el tiempo de vida de la ejecución de una única tarea es limitado a 30 segundos. Si la ejecución de su tarea se acerca al límite de 30 segundos, App Engine generará una excepción que podrá capturar y luego rápidamente guardará su trabajo o proceso de registro.
1 a esto. Puede programar tareas para que se ejecuten periódicamente en un sitio, lo que debería ser suficiente, pero no puede tener el rastreo continuo de una página. Si la página admite PubSubHubBub (http://code.google.com/p/pubsubhubbub/) o alguna otra tecnología de inserción, puede hacer que su aplicación se suscriba a las actualizaciones y rastree cuando la página realmente cambie. –
Para rastrear, yo diría que una cola de tareas es mejor que un único daemon. Se trata de un paralelismo para ti, y el modelo de tarea se adapta trepando extremadamente bien. –
@Ben ¿Qué pasa con los backends? – Michael
No puede ejecutar literalmente un proceso continuo durante más de 30 segundos. Sin embargo, puede usar la cola de tareas para que un proceso llame a otro en una cadena continua. Alternativamente, puede programar trabajos para ejecutar con el servicio de Cron.
Utilice un trabajo cron para comprobar periódicamente las páginas que no se han extraído en el pasado n horas/días/lo que sea, y coloque las tareas de fragmentación de un subconjunto de estas páginas en una cola de tareas. De esta forma, sus procesos no son asesinados por tomar demasiado tiempo, y no golpea el servidor que está arrastrando con excesivas ráfagas de tráfico.
He hecho esto y funciona bastante bien. Tenga cuidado con los tiempos de espera de tareas; si las cosas tardan demasiado, divídelas en múltiples fases y asegúrate de usar memcached generosamente.
Un amigo mío sugirió siguiente
Puede ejecutar su trabajo infinitamente. Solo necesita considerar el tiempo de CPU y el almacenamiento utilizados.
Pruebe esto:
en appengine ejecuta cualquier programa. Se conecta desde el navegador, haga clic para iniciar la URL durante ajax. Servidor de llamadas Ajax, descargue algunos datos de Internet y devuelva su (su navegador) siguiente url. Esta no es una solicitud, cada url es una solicitud diferente. Tu mástil solo resuelve en JS cómo ajax está llamando url un ciclo.
Puede utilizar el servicio GAE durado llamado back-end.Verifique esto http://code.google.com/appengine/docs/java/backends/ Los backends son instancias especiales de App Engine que no tienen plazos de solicitud, memoria más alta y límites de CPU, y estado persistente en todas las solicitudes. App Engine los inicia automáticamente y puede ejecutarlos continuamente durante largos períodos. Cada instancia de back-end tiene una URL única para usar en las solicitudes, y puede cargar las solicitudes de saldo en varias instancias.
Es posible que desee considerar la introducción de Backends en la versión más nueva de GAE.
Estos procesos continuos dirigidos
es posible Sí, ya he construir una solución en AppEngine - wowprice
uso compartido todos los detalles aquí harán que mi respuesta larga,
Problema - Supongamos que quiero rastrear walmart.com, como sé que no puedo rastrear de una sola vez (millones de productos)
Solución - He diseñado mi araña para dividir la tarea en tareas más pequeñas.
Ventajas - Nos puede rastrear sin romper las reglas 30 segundos, y la velocidad de rastreo voluntad depende máquina de back-end, proporcionará paralelo de arrastre por un solo objetivo.
lo arreglaron para usted. puede ejecutar subprocesos de fondo en una instancia escalada manualmente.
cheque https://developers.google.com/appengine/docs/python/modules/#Python_Background_threads
posible duplicado de [tareas de antecedentes sobre appengine] (http://stackoverflow.com/questions/149307/background-tasks-on-appengine) –