¿Alguien ha tenido suerte escribiendo indexadores personalizados para nutch para indexar los resultados de rastreo con elasticsearch? ¿O conoces alguno que ya exista?¿Ha indexado los resultados de rastreo nutch usando elasticsearch anteriormente?
No lo he hecho, pero esto es definitivamente factible pero requeriría utilizar el código SOLR (src/java/org/apache/nutch/indexer/solr) y adaptarlo a ElasticSearch. Sería un buen contrib a Nutch BTW
Sé que Nutch agregará backends conectables y me alegra verlo. Tuve la necesidad de integrar elasticsearch con Nutch 1.3. El código se publica aquí. Incluido en el código (src/java/org/apache/nutch/indexer/solr).
Soy nuevo en Java, así que no sé cómo crear un paquete en Ubuntu y luego reconstruirlo. He instalado nutch en la ubicación/home/peter/nutch/así que no sé dónde copiar los archivos de hiedra y java. ¿Qué configuraciones deben agregarse a los archivos de hiedra? – peter
escribí un plugin Elasticsearch que se burla de la API de Solr. Con este complemento y el indexador Nutch Solr estándar, puede enviar datos rastreados fácilmente a ElasticSearch. Plugin y un ejemplo de cómo usarlo con Nutch se pueden encontrar en GitHub:
El tiempo pasa y ahora Nucth ya está integrado bien con Elasticsearch. Here es un buen tutorial.
Ese es el enfoque que he tomado. También escribí mi propio indexador elástico y mi propio proceso de rastreo. – neildf