No permitir o Noindex en Subdominio con robots.txt

Question

Tengo dev.qrcodecity.com y www.qrcodecity.com. Quiero que Google suelte todos los registros del subdominio de desarrollo, pero mantenga el www. Estoy usando git para almacenar el código para ambos, así que, idealmente, me gustaría que ambos tengan el mismo archivo robots.txt. ¿Es posible tener un archivo robots.txt que excluya un subdominio?

Answer 1

Disculpa, lo más probable es que esto no sea posible. La regla general es que cada subdominio se trata por separado y, por lo tanto, ambos necesitarían archivos robots.txt.

A menudo, los subdominios se implementan utilizando subcarpetas con reescritura de URL en su lugar que hace la asignación en la que desea compartir un único archivo robots.txt entre subdominios. Aquí hay una buena discusión sobre cómo hacer esto: http://www.webmasterworld.com/apache/4253501.htm.

Sin embargo, en su caso desea un comportamiento diferente para cada subdominio que requerirá archivos separados.

Answer 2

Se podría usar la lógica de reescritura de Apache para servir a una diferente robots.txt en la esfera de desarrollo:

<IfModule mod_rewrite.c> 
    RewriteEngine on 
    RewriteCond %{HTTP_HOST} ^dev\.qrcodecity\.com$ 
    RewriteRule ^robots\.txt$ robots-dev.txt 
</IfModule> 

y luego crear una separada robots-dev.txt:

User-agent: * 
Disallow:/

Answer 3

Tenga en cuenta que si bloquea Google desde indexando las páginas bajo el subdominio, no (generalmente) desaparecerán inmediatamente del índice de Google. Simplemente impide que Google vuelva a indexar esas páginas.

Si el subdominio de desarrollo aún no se ha iniciado, asegúrese de que tiene su propio archivo robots.txt que no permite todo.

Sin embargo, si el subdominio de desarrollo ya tiene páginas indexadas, primero debe usar las metaetiquetas de robot noindex (que requieren que Google rastree las páginas inicialmente para leer esta solicitud), luego configure el archivo robots.txt para el subdominio de desarrollo una vez que las páginas se hayan retirado del índice de Google (configure una cuenta de Herramientas para webmasters de Google; esto ayuda a resolver esto).

Answer 4

Cada sub-dominio en el servicio está tratando como un dominio separado en sí mismo, si observa varios fabricantes web gratuita le permiten alojar su sitio web en sus saques con un nombre de dominio similar a yourname.websitemake.com. Y como resultado, cada sitio web se indexa por separado en los motores de búsqueda.

Entonces, lo que puede hacer para lograr esto es, puede agregar un nuevo "robots.txt" a la carpeta del subdominio y mencionar lo siguiente para prohibir a los rastreadores indexar su subdominio.

User-agent: * 
Disallow:/