Tenemos diferentes dominios para cada idiomaRobots.txt para múltiples dominios
Y entonces tenemos diferentes sitemap.xml para cada sitio. En robots.txt, quiero agregar referencia de sitemap para cada dominio.
El robots.txt solo puede informar a los motores de búsqueda de los mapas de sitio de su propio dominio. Así que ese será el único que honrará cuando rastree el archivo robots.txt de ese dominio. Si los tres dominios se asignan al mismo sitio web y comparten un archivo robots.txt, los motores de búsqueda encontrarán efectivamente cada mapa del sitio.
Estoy usando la siguiente solución en .htaccess después de todos los redireccionamientos de dominio y www para la redirección de no-www.
# Rewrite URL for robots.txt
RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [L]
Cree un nuevo directorio en su raíz llamado robots. Crea un archivo de texto con la información específica de los robots para cada dominio.
Estos son tres diferentes sitios web alojados juntos. Por supuesto, el contenido es diferente y también el archivo sitemap.xml que tienen es diferente. –
Esta es la única respuesta de este tipo y solo tiene un voto positivo. El resto de Internet parece reescribir el archivo robots.txt para el dominio específico usando htaccess, pero esto tiene mucho más sentido. – Erfan