Similitud de coseno

Question

Calculé los valores de tf/idf de dos documentos. Los siguientes son los valores de las FDI/TF:

1.txt 
0.0 
0.5 
2.txt 
0.0 
0.5 

Los documentos son como:

1.txt = > dog cat 
2.txt = > cat elephant 

¿Cómo puedo usar estos valores para calcular la similitud del coseno?

Sé que debo calcular el producto escalar, luego encontrar la distancia y dividir el producto por él. ¿Cómo puedo calcular esto usando mis valores?

Una pregunta más: ¿Es importante que ambos documentos tengan el mismo número de palabras?

Answer 1

  a * b 
sim(a,b) =-------- 
      |a|*|b| 

a * b es producto de punto

algunos detalles:

def dot(a,b): 
    n = length(a) 
    sum = 0 
    for i in xrange(n): 
    sum += a[i] * b[i]; 
    return sum 

def norm(a): 
    n = length(a) 
    for i in xrange(n): 
    sum += a[i] * a[i] 
    return math.sqrt(sum) 

def cossim(a,b): 
    return dot(a,b)/(norm(a) * norm(b)) 

sí. hasta cierto punto, a y b deben tener la misma longitud. pero a y b generalmente tienen una representación dispersa, solo necesita almacenar entradas que no sean cero y puede calcular la norma y el punto más rápidamente.

Answer 2

implementación simple código java:

static double cosine_similarity(Map<String, Double> v1, Map<String, Double> v2) { 
      Set<String> both = Sets.newHashSet(v1.keySet()); 
      both.retainAll(v2.keySet()); 
      double sclar = 0, norm1 = 0, norm2 = 0; 
      for (String k : both) sclar += v1.get(k) * v2.get(k); 
      for (String k : v1.keySet()) norm1 += v1.get(k) * v1.get(k); 
      for (String k : v2.keySet()) norm2 += v2.get(k) * v2.get(k); 
      return sclar/Math.sqrt(norm1 * norm2); 
    } 

Answer 3

1) Calcular TF-IDF (generalmente mejor que tf solos sino que depende por completo de su conjunto de datos y requisitos)

De wiki (con respecto IDF)

Se incorpora un factor de frecuencia de documento inverso que disminuye el peso de los términos que ocurren con mucha frecuencia en el conjunto de documentos y aumenta el peso de los términos que ocurren raramente.

2) No, no es importante que ambos documentos tengan el mismo número de palabras.

3) Puede encontrar tf-idf o cosine-similarity en cualquier idioma en estos días invocando alguna función de biblioteca de aprendizaje automático. Yo prefiero pitón

código

Python para calcular tf-idf y cosine-similarity (usando scikit-learn 0.18.2)

from sklearn.feature_extraction.text import TfidfVectorizer 
from sklearn.metrics.pairwise import cosine_similarity 
# example dataset 
from sklearn.datasets import fetch_20newsgroups 

# replace with your method to get data 
example_data = fetch_20newsgroups(subset='all').data 

max_features_for_tfidf = 10000 
is_idf = True 

vectorizer = TfidfVectorizer(max_df=0.5, max_features=max_features_for_tf_idf, 
          min_df=2, stop_words='english', 
          use_idf=is_idf) 


X_Mat = vectorizer.fit_transform(example_data) 

# calculate cosine similarity between samples in X with samples in Y 
cosine_sim = cosine_similarity(X=X_Mat, Y=X_Mat) 

4) Usted puede estar interesado en truncated Singular Value Decomposition (SVD)