¿Qué función de similitud de nltk.corpus.wordnet es Apropiada para encontrar la similitud de dos palabras?

Question

qué función de similitud en nltk.corpus.wordnet es adecuada para encontrar la similitud de dos palabras?

path_similarity()? 
    lch_similarity()? 
    wup_similarity()? 
    res_similarity()? 
    jcn_similarity()? 
    lin_similarity()? 

Quiero utilizar una función para word clustering y yarowsky algorightm para encontrar similares collocation en un texto de gran tamaño.

Answer 1

Estas medidas son en realidad para sentidos de palabras (o conceptos) no palabras. Esa distinción podría importar. En otras palabras, la palabra "tren" puede significar "locomotora" o "se les enseña a hacer algo". Para usar estas medidas, necesitaría saber qué sentido tenía.

Si usted quiere hacer el agrupamiento de textos, estas medidas podrían no ser exactamente lo que quiere ...

Answer 2

He estado jugando con NLTK/wordnet a mí mismo a los efectos de tratar de hacer coincidir algunos textos de alguna manera automática. Como señala la respuesta de Ted Pedersen, queda bastante claro que las funciones de similitud en nltk.corpus.wordnet solo producen similitudes distintas de cero para términos bastante relacionados con un sólido pedigrí IS-A.

Lo que terminé haciendo fue tomando el vocabulario en mis textos, y luego usando lemma-> synset-> lemas y lemma-> similar_tos hacer crecer mi propio gráfico palabra de enlace (graph_tool fantástico para esto) y luego contar el minimum number of hops necesario para vincular 2 palabras para obtener algún tipo de medida de (des) similitud entre ellos (bastante entretenido para imprimirlos, como ver un juego de asociación de palabras muy extraño). Esto realmente funcionó bastante bien para mis propósitos, incluso sin ningún intento de tomar POS/sentido en cuenta.