5
Estoy haciendo una aplicación que rastrea un sitio de vez en cuando y me gustaría que obedezca/respete el robots.txt del sitio que se está rastreando. ¿Cómo empiezo con esto? ¿Hay alguna idea de cómo hacer esto?Cómo obedezzco robots.txt
Gracias de antemano.
http://www.the-art-of-web.com/php/parse-robots/ – marcog
que era un buen enlace – andrewk