Robots.txt: ¿Es válida esta regla de comodín?

Question

Pregunta simple. Quiero añadir:

Disallow */*details-print/ 

Básicamente, las reglas de bloqueo en forma de /foo/bar/dynamic-details-print --- foo y bar en este ejemplo puede también ser totalmente dinámico.

pensé que esto sería sencillo, pero luego en www.robotstxt.org existe este mensaje:

Tenga en cuenta también que se estaban utilizando comodines y expresiones regulares no son compatibles, ya sea en el user-agent o no permitir líneas. El '*' en el campo User-agent es un valor especial que significa "cualquier robot". Específicamente, no puede tener líneas como "Usuario-agente: bot", "No permitir:/tmp/*" o "No permitir: * .gif".

Así que no podemos hacer eso? ¿Los motores de búsqueda lo cumplen? Pero entonces, hay Quora.com's robots.txt archivo:

Disallow: /ajax/ 
Disallow: /*/log 
Disallow: /*/rss 
Disallow: /*_POST 

Entonces, ¿quién tiene razón - o estoy entendiendo mal el texto en robotstxt.org?

Gracias!

Answer 1

La respuesta es "depende". El "estándar" de robots.txt como se define en robotstxt.org es el mínimo que se espera que soporten los robots. Googlebot, MSNbot y Yahoo Slurp son compatibles con algunas extensiones comunes, y realmente no se sabe qué otros bots admiten. Algunos dicen lo que apoyan y otros no.

En general,, puede esperar que los principales robots de los motores de búsqueda admitan los comodines que ha escrito, y el que tiene allí parece que funcionará. La mejor opción sería ejecutar uno o más validadores de robots.txt these o utilizar el Webmaster tools de Google para verificarlo.