¿Todos estos tipos de sitios están robando ilegalmente Google u otro motor de búsqueda?
Por lo que puedo decir, no existe una forma 'legal' de obtener estos datos para un sitio comercial .. El Yahoo! api (http://developer.yahoo.com/search/siteexplorer/V1/inlinkData.html) es solo para uso no comercial, Yahoo! Boss no permite consultas automáticas, etc.
¿Alguna idea?¿Cómo hacen sitios como Hubspot para rastrear enlaces entrantes?
Por ejemplo, si desea encontrar todos los enlaces a la página principal de Google, buscar
link:http://www.google.com
Así que si usted quiere encontrar todos los enlaces entrantes, sólo tiene que recorrer el árbol de su sitio web, y para cada elemento que encuentra, crea una URL. Luego consulta Google por:
link:URL
Y obtendrás una colección de todos los enlaces que Google tiene desde otros sitios web en tu sitio web.
En cuanto a la legalidad de tal cosecha, estoy seguro de que no es exactamente legal sacar provecho de ello, pero eso nunca ha detenido a nadie antes, ¿o sí?
(Así que no me molestaría preguntarse si lo hicieron o no. Simplemente asumen que hacen.)
no sé qué hacer HubSpot, pero, si se quería averiguar qué sitios que enlazan a su sitio, y no tiene el hardware para rastrear la web, una cosa que puede hacer es controlar el HTTP_REFERER de los visitantes de su sitio. Esto es, por ejemplo, cómo Google Analytics (hasta donde yo sé) puede decirle de dónde provienen sus visitantes. Esto no es 100% confiable ya que no todos los navegadores lo configuran, particularmente en "Modo de privacidad", ¡pero solo necesita un visitante por enlace para saber que existe!
Esto se logra incorporando un script en cada una de sus páginas web (a menudo en un encabezado o pie de página común). Por ejemplo, si examina el origen de la página que está leyendo, encontrará (en la parte inferior) un guión que informa a Google sobre su visita.
Ahora esto no le dirá si hay enlaces por ahí que nadie haya usado alguna vez para llegar a su sitio, pero seamos sinceros, son mucho menos interesantes que los que la gente realmente usa.
Exactamente, creo, mirando las capturas de pantalla de muestra de Hubspot, puede ver que cada enlace entrante rastreado ha tenido un visitante de él. Para exponer, los datos de referencia pueden obtenerse de los registros o tener algo incorporado en su sitio. –
Podrían simplemente rastrear la web ... sitios como http://www.80legs.com/ hacen que sea más fácil. –