Nutch no rastrea todos los eslabones de forma

tengo un problema que se arrastra a mi sitio ... hay un formulario con dos listas desplegables .... y cuando empiece a gatear, el rastreador solamente sacan parte de enlaces de forma .... desde la primera lista desplegable toma parte de las opciones, a partir del segundo menú desplegable .... Intento cambiar algunas configuraciones en el archivo nutch-defaults.xml, pero todo es igual ...Nutch no rastrea todos los eslabones de forma

I change 
fetcher.threads.per.queue 1 - 10   
db.ignore.internal.links true - false 
db.ignore.external.links false - true 
http.content.limit 65536 - 65536000 
file.content.limit 65536 - 65536000 
db.update.max.inlinks 10.000 - 100.000

¿Hay alguna otra opción que pueda ayudarme a rastrear todas las opciones en mi forma ...... ?? Gracias por las respuestas.

Fuente

2012-10-09 Hayk Grigoryan

quiero añadir que en la primera lista desplegable tengo alrededor de 150 opciones, y cada uno de tema en la segunda lista desplegable tiene 30-100 opciones. puede ser de alguna manera está conectado con la cantidad de enlaces .. ??? –

Disculpe, representante de muy bajo para publicar comentarios!

Tiene un enlace.

También son los desplegables ajax o algo sofisticado. Nutch de memoria solo rastreará lo que está en la página. Es decir. si carga los primeros 10 en la carga de la página y solo carga el resto con un servicio cuando el usuario se desplaza, creo que no puede encontrarlo.

algo más de información sería bueno volver a la página ....

Saludos Robin

Fuente

2012-10-13 02:38:25

Parece que estás haciendo una llamada ajax para completar el segundo campo. Como se mencionó [http://stackoverflow.com/questions/6507040] no funcionará ... Tal vez echar un vistazo a Rhino como se discute [http://www.codata.org/Taipei/Abstracts/%2828%] 29% 20% 20La% 20Research% 20on% 20Ajax% 20Dynamic% 20Parse% 20y% 20Application% 20de% 20Ajax% 20Plugin% 20in% 20Nutch.pdf] .... voy a tener otro pensar en ello, pero necesita alguna manera de prasing los enlaces desde mi comprensión ... –

gracias por su respuesta. Este es el [enlace] (auto.am/en), después de rastrear solo tengo alrededor de 100 marcas y no todos los modelos del coche que tengo. ... Espero que después de obtener un enlace, sugiera la solución para rastrear todas las marcas y modelos de automóviles :). Gracias.

Fuente

2012-10-16 07:44:02

Enlace se menciona en respuesta, pero no se da realidad – Shafiq

Nutch no rastrea todos los eslabones de forma

Respuesta

Cuestiones relacionadas