Una idea de la LSA se basa en una suposición: los más de dos palabras aparecen en los documentos mismos, más similares son. De hecho, podemos esperar que las palabras "programación" y "algoritmo" ocurran en los mismos documentos mucho más a menudo que, por ejemplo, "programación" y "crianza de perros".
Lo mismo para los documentos: las palabras más comunes/similares que tienen dos documentos, los más similares son. Entonces, puede expresar similitud de documentos por frecuencias de palabras y viceversa.
Sabiendo esto, podemos construir una matriz de co-ocurrencia , donde los nombres de columna representan documentos, nombres de fila - palabras y cada cells[i][j] representa la frecuencia de la palabra en el documento words[i]documents[j]. La frecuencia se puede calcular de muchas maneras, IIRC, LSA original usa el índice tf-idf.
Al tener dicha matriz, puede encontrar la similitud de dos documentos comparando las columnas correspondientes.¿Cómo compararlos? Nuevamente, hay varias formas. El más popular es coseno distancia. Debe recordar de las matemáticas de la escuela, que la matriz puede tratarse como un conjunto de vectores, por lo que cada columna es solo un vector en un espacio multidimensional. Es por eso que este modelo se llama "Vector Space Model". Más sobre VSM y la distancia del coseno here.
Pero tenemos un problema con dicha matriz: es grande. Muy muy grande. Trabajar con él es demasiado costoso desde el punto de vista computacional, por lo que tenemos que reducirlo de alguna manera. LSA usa la técnica SVD para mantener los vectores más "importantes". Después de la reducción, la matriz está lista para usar.
Por lo tanto, el algoritmo de LSA se verá algo como esto:
- Collect todos los documentos ytodas las palabras únicas de ellos.
- extracto información de frecuencia y compilación co-ocurrencia matriz.
- Reduce matriz con SVD.
Si vas a escribir biblioteca LSA por sí mismo, el buen punto de partida es Lucene motor de búsqueda, lo que hará mucho más fácil los pasos 1 y 2, y algunos aplicación de las matrices de alta dimensión con capacidad de SVD como Parallel Colt o UJMP.
También preste atención a otras tecnologías, que crecieron de LSA, como Random Indexing. RI usa la misma idea y muestra aproximadamente los mismos resultados, pero no usa la etapa de matriz completa y es completamente incremental, lo que lo hace mucho más eficiente desde el punto de vista informático.
Duplicado: http://stackoverflow.com/questions/1746568/latent-semantic-indexing-in-java –
Gracias Amit, pero si lees mi pregunta. Entonces es diferente. Incluso si crees que es lo mismo, entonces no puedes encontrar una buena respuesta allí :) – user238384
¿Siempre tenemos que reducir la dimensión en lsa? ¿Podemos simplemente usar la matriz v para encontrar la similitud entre los documentos y la matriz u para encontrar la similitud entre los términos? – CTsiddharth