Cómo extraer palabras clave de un bloque de texto en Haskell

Question

Así que sé que este es un tipo de tema de gran tamaño, pero debo aceptar un fragmento de texto y extraer las palabras clave más interesantes de él. El texto proviene de subtítulos de TV, por lo que el tema puede abarcar desde noticias hasta deportes y referencias de la cultura pop. Es posible proporcionar el tipo de espectáculo del que proviene el texto.

Tengo una idea para unir el texto con un diccionario de términos que sé que es interesante de alguna manera.

¿Qué bibliotecas para Haskell pueden ayudarme con esto?

Suponiendo que tengo un diccionario de términos interesantes y una base de datos para almacenarlos, ¿hay algún enfoque particular que recomiende para hacer coincidir palabras clave dentro del texto?

¿Existe un enfoque obvio en el que no estoy pensando?

Answer 1

Me vástago de las palabras que los trozos y luego buscar todos los términos de la dict sólo dos libs al azar:

madre http://hackage.haskell.org/packages/archive/stemmer/0.2/doc/html/NLP-Stemmer-C.html

búsqueda http://hackage.haskell.org/packages/archive/sphinx/0.2.1/doc/html/Text-Search-Sphinx.html

Answer 2

Para ampliar bpgergo respuesta (pero no tengo ninguna información específica de haskell), es bastante sencillo ingresar documentos en una base de datos relacional e indexarlos con SOLR/lucene o sphinx, cualquiera de los cuales debería tener un generador de texto en su configuración predeterminada/sugerida. Y luego puede buscar en qué documentos tienen pares, triples, etc. de su lista de "términos interesantes"

Puede consultar Reconocimiento de entidad con nombre, Detección de frase estadísticamente inusual, generación automática de etiquetas, temas como ese. LingPipe es un buen punto de partida, también estos libros:

http://alias-i.com/lingpipe/demos/tutorial/read-me.html

http://www.manning.com/marmanis/excerpt_contents.html

http://www.manning.com/alag/excerpt_contents.html