Cómo desplegar una araña Scrapy en la nube de Heroku

Question

Desarrollé algunas arañas en scrapy & Quiero probar las de la nube de Heroku. ¿Alguien tiene alguna idea sobre cómo desplegar una araña Scrapy en la nube de Heroku?

Answer 1

Sí, es bastante fácil de implementar y ejecutar su araña Scrapy en Heroku.

Éstos son los pasos con un proyecto real Scrapy como ejemplo:

1. Clon del proyecto (tenga en cuenta que debe tener un archivo requirements.txt de Heroku a lo reconoce como un proyecto de Python):

   git clone https://github.com/scrapinghub/testspiders.git

2. Agregue cffi al archivo requirement.txt (por ejemplo, cffi == 1.1.0).

3. Crear la aplicación Heroku (esto añadirá un nuevo mando a distancia heroku GIT):

   heroku create

4. implementar el proyecto (esto tardará un tiempo la primera vez, cuando la bala se construye):

   git push heroku master

5. Ejecutar su araña:

   heroku run scrapy crawl followall

Algunas notas:

• disco Heroku es efímero. Si desea almacenar los datos raspados en un lugar persistente, puede usar un S3 feed export (agregando -o s3://mybucket/items.jl) o usar un complemento (como MongoHQ o Redis To Go) y escribir una tubería para almacenar sus artículos allí
• Sería Genial para ejecutar un servidor Scrapyd en Heroku, pero actualmente no es posible porque el módulo sqlite3 (que requiere Scrapyd) no funciona en Heroku
• Si desea una solución más sofisticada para implementar sus arañas Scrapy, considere configurar su propia araña Scrapyd server o usando un servicio alojado como Scrapy Cloud