En Python, ¿cómo puedo calcular la correlación y la significación estadística entre dos matrices de datos?

Question

Tengo conjuntos de datos con dos conjuntos de datos igualmente largos, o puedo hacer una matriz de entradas de dos elementos, y me gustaría calcular la correlación y la significación estadística representada por los datos (que pueden estar estrechamente correlacionados, o puede no tener una correlación estadísticamente significativa).

Estoy programando en Python y tengo scipy y numpy instalados. Miré y encontré Calculating Pearson correlation and significance in Python, pero parece que quiere que los datos se manipulen para que caigan dentro de un rango específico.

¿Cuál es la forma correcta de, supongo, que pregunte scipy o numpy para darme la correlación y la significación estadística de dos matrices?

Answer 1

Puede utilizar el Mahalanobis distance entre estas dos matrices, lo que tiene en cuenta la correlación entre ellas.

la función es en el paquete scipy: scipy.spatial.distance.mahalanobis

Hay un buen ejemplo here

Answer 2

scipy.spatial.distance.euclidean()

Esto da distancia euclidiana entre 2 puntos, 2 matrices np, 2 listas, etc.

import scipy.spatial.distance as spsd 
spsd.euclidean(nparray1, nparray2) 

Puede fi nd más información aquí http://docs.scipy.org/doc/scipy/reference/spatial.distance.html

Answer 3

Si desea calcular el Coeficiente de correlación de Pearson, entonces scipy.stats.pearsonr es el camino a seguir; aunque, la importancia solo es significativa para conjuntos de datos más grandes. Esta función no requiere que los datos que se manipulen caigan en un rango especificado. El valor para la correlación cae en el intervalo [-1,1], ¿tal vez esa fue la confusión?

Si la importancia no es muy importante, puede usar numpy.corrcoef().

La distancia de Mahalanobis tiene en cuenta la correlación entre dos matrices, pero proporciona una medida de distancia, no una correlación. (Matemáticamente, la distancia de Mahalanobis no es una verdadera función de distancia, sin embargo, se puede usar como tal en ciertos contextos con gran ventaja.)