scrapy permiten todos los dominios

Question

Vi this publicación para hacer que scpath rastree cualquier sitio sin restricción de dominios permitidos.

¿Hay alguna forma mejor de hacerlo, como el uso de una expresión regular en la variable de dominios permitidos, como-

allowed_domains = ["*"] 

espero que haya alguna otra manera que la piratería en el marco scrapy para hacer esto.

Answer 1

No establezca allowed_domains en absoluto.

observar la función get_host_regex() en este archivo scrapy:

https://github.com/scrapy/scrapy/blob/master/scrapy/contrib/spidermiddleware/offsite.py

Answer 2

debe diactivate middlware fuera del sitio que está construido en un middleware de araña en scrapy. para más información http://doc.scrapy.org/en/latest/topics/spider-middleware.html