¿Por qué y cómo utiliza googlebot el motor de búsqueda de mi sitio web?

Question

Mirando a través de mis registros de búsqueda de vez en cuando, me doy cuenta de que, con mucho, el mayor usuario de mi motor de búsqueda es el google-bot. ¿Lo que da? ¿Está buscando contenido que podría no ser directamente accesible a través de la navegación? Si es así, ¿cómo sabe qué palabras y frases buscar (son sorprendentemente relevantes)? ¿Comprueba las palabras clave más populares en el sitio? Sé que parece que estoy respondiendo mi propia pregunta aquí, pero esto solo está funcionando desde los primeros principios. Me gustaría saber de alguien que sabe de lo que están hablando (es decir, yo no).

Answer 1

Google usará palabras que se producen en su sitio en cuadros de búsqueda para tratar de encontrar las páginas que no puede de otra manera.

Google dice que durante los últimos meses, se ha rellenar formularios en un "pequeño número" de "alta calidad" sitios web para volver información. ¿Qué palabras ha estado ingresando en esas formas? Las palabras se seleccionan automáticamente que se producen en el sitio, con las casillas de verificación y también se seleccionan los menús desplegables . http://searchengineland.com/google-now-fills-out-forms-crawls-results-13760

Answer 2

Si el método de su formulario de búsqueda es obtener en lugar de publicar, cada búsqueda tiene su propia URL, y las personas podrían publicar esas direcciones en otro lugar. O si tiene una página de webstats (posiblemente inadvertidamente) de acceso público que enumeró esas URL, esa es otra forma común para que los motores de búsqueda se topen con sus URL de búsqueda interna. Una tercera forma que he visto son los sitios que enumeran búsquedas recientes en sus páginas, pero esto es más intencional. El "Blog de rendimiento de MySQL" hace esto de una manera molesta, por lo que cualquier búsqueda en su sitio de google produce cientos de páginas de búsquedas similares, incluso si ninguna de ellas encontró lo que estaban buscando.

Editar: Parece que lo hace en ocasiones, pero sólo se les formas: http://googlewebmastercentral.blogspot.com/2008/04/crawling-through-html-forms.html