Cerca de la respuesta de Joël, pero quiero elaborar un poco más de lo que es posible en los comentarios. Si observa el Crawler source code, verá que la clase CrawlerProcess tiene un start, pero también una función stop. Esta función stop se encarga de limpiar las partes internas del rastreo para que el sistema termine en un estado desde el cual pueda comenzar de nuevo.
Por lo tanto, si desea reiniciar el rastreo sin abandonar su proceso, llame al crawler.stop() en el momento apropiado. Más tarde, simplemente llame al crawler.start() nuevamente para reanudar las operaciones.
Editar: en retrospectiva, esto no es posible (debido al reactor Twisted, como se menciona en una respuesta diferente); el stop solo se ocupa de una terminación limpia. Mirando hacia atrás en mi código, tuve un envoltorio para los procesos de Crawler. A continuación puede encontrar algunos códigos (redactados) para que funcionen utilizando el módulo de multiprocesamiento de Python. De esta forma, puedes reiniciar más fácilmente los rastreadores. (Nota:. He encontrado el código en línea el mes pasado, pero no incluir la fuente ... así que si alguien sabe de dónde viene, voy a actualizar los créditos para la fuente)
from scrapy import project, signals
from scrapy.conf import settings
from scrapy.crawler import CrawlerProcess
from scrapy.xlib.pydispatch import dispatcher
from multiprocessing.queues import Queue
from multiprocessing import Process
class CrawlerWorker(Process):
def __init__(self, spider, results):
Process.__init__(self)
self.results = results
self.crawler = CrawlerProcess(settings)
if not hasattr(project, 'crawler'):
self.crawler.install()
self.crawler.configure()
self.items = []
self.spider = spider
dispatcher.connect(self._item_passed, signals.item_passed)
def _item_passed(self, item):
self.items.append(item)
def run(self):
self.crawler.crawl(self.spider)
self.crawler.start()
self.crawler.stop()
self.results.put(self.items)
# The part below can be called as often as you want
results = Queue()
crawler = CrawlerWorker(MySpider(myArgs), results)
crawler.start()
for item in results.get():
pass # Do something with item
añadiendo crawler.stop() inmediatamente después de crawler.start() no ayuda - cómo hacer ¿Descubro el "momento apropiado"? – Trindaz
@Trindaz: No estaba en lo correcto en esa llamada, por favor vea la respuesta actualizada. – jro
Gracias por la actualización @jro. También he visto este fragmento antes y, si lo he interpretado correctamente, el concepto es que puedes raspar todo lo que quieras agregando arañas a un rastreador que nunca muere, en lugar de intentar reiniciar un rastreador en cada intento lo haces en "ejecutar" una araña. Lo he marcado como una solución porque, técnicamente, resuelve mi problema, pero no puedo usarlo porque no quiero confiar en los objetos de rastreo persistentes en la aplicación django en la que estoy usando esto. Terminé escribiendo una solución basada puramente en BeautifulSoup y urllib2. – Trindaz