Código de Ruby para comprobar si un sitio web tiene URLs compatibles con los motores de búsqueda

Estoy desarrollando una aplicación en rieles que requiere comprobar si el sitio web ingresado tiene URLs amigables para los motores de búsqueda generadas o no. Una solución que tengo en mente es usar nokogiri para analizar el código HTML del sitio y busque en la etiqueta del enlace para encontrar las URL y ver si son compatibles con los motores de búsqueda. ¿Hay alguna otra forma de hacerlo? Cualquier ayuda sería realmente genial.Código de Ruby para comprobar si un sitio web tiene URLs compatibles con los motores de búsqueda

Fuente

2012-07-03 Jimmy Thakkar

si realmente desea ver todos los enlaces en la página, nokogiri es el camino a seguir. ¿Cómo planeas distinguir una URL amigable para SEO de una que no sea amigable para SEO? –

No tengo ni idea de cómo lo haría. Primero buscaré en Anemone como lo sugirió @Casper. ¿Hay alguna otra manera que podría funcionar para este caso? Gracias –

Desafortunadamente no, solo estaba siendo curioso; -) –

Usted tiene dos problemas:

¿Cómo formalmente (mediante programación) definir qué es una "búsqueda URL frienldy motor está". Supongo que ya tienes una forma de hacerlo. Entonces eso deja ...
Cómo verificar todos los enlaces en un sitio web.

Así que para (2) Me gustaría ver algo así como Anemone lo que hará más fácil para usted para arrastrarse sitios web completos:

anémona es una biblioteca de Ruby que hace que sea rápido y sin dolor para escribir programas que arañan un sitio web. Proporciona una DSL simple para realizar acciones en cada página de un sitio, omitir ciertas URL y calcular la ruta más corta a una página determinada en un sitio.

El diseño de múltiples hilos hace Anemone rápido. La API lo hace simple. Y la expresividad de Ruby lo hace poderoso.

Para un simple arrastre Anemone incluso le dará una selección de todos los enlaces en una página, por lo que no necesariamente necesitará Nokogiri. Para cosas más complejas quizás quieras combinar Anemone con algo como Mechanize y Nokogiri. Eso depende de tus requisitos.

Fuente

2012-07-03 10:20:17 Casper

Gracias por compartir información acerca de la gema Anemone, sería muy útil para mí. Tampoco he encontrado la manera de resolver el (1) problema, así que si tiene ayuda sobre eso, por favor comparte eso también. –

Anemone es increíble, resuelve mi propósito aquí, Gracias –

@JimmyThakkar - Gracias por sus comentarios. Lamentablemente, no, no tengo buenas ideas para los enlaces de SEO. No es un problema fácil de resolver. Lo que haría sería escribir primero en papel qué buen enlace de SEO es. Es decir. crear una definición en papel primero! Después de eso, podrías intentar y formular un algoritmo para ello. Pero primero debes tener las reglas claras. Tal vez busque palabras clave que coincidan en la página, etc. Sin embargo, los seres humanos pueden ver rápidamente si un enlace es SEO o no. Por lo tanto, al implementar (2) ya puede enumerar los enlaces y escanear rápidamente más de 100 enlaces en tan solo unos segundos con solo mirarlos. – Casper

Código de Ruby para comprobar si un sitio web tiene URLs compatibles con los motores de búsqueda

Respuesta

Cuestiones relacionadas