fast numpy addnan

Question

Me gustaría agregar miles de matrices 4D en cuanto a elementos y contabilidad para nans. Un ejemplo sencillo utilizando matrices 1D sería:

X = array([4,7,89,nan,89,65, nan]) 
Y = array([0,5,4, 9, 8, 100,nan]) 
z = X+Y 
print z = array([4,12,93,9,97,165,nan]) 

He escrito un simple bucle alrededor de esto, pero se necesita siempre - no es una solución inteligente. Otra solución podría ser crear una matriz más grande y usar el cuello de botella nansum, pero esto llevaría demasiada memoria para mi computadora portátil. Necesito una suma corriente de más de 11000 casos.

¿Alguien tiene una manera inteligente y rápida de hacer esto?

Answer 1

Aquí es una posibilidad:

>>> x = np.array([1, 2, np.nan, 3, np.nan, 4]) 
... y = np.array([1, np.nan, 2, 5, np.nan, 8]) 
>>> x = np.ma.masked_array(np.nan_to_num(x), mask=np.isnan(x) & np.isnan(y)) 
>>> y = np.ma.masked_array(np.nan_to_num(y), mask=x.mask) 
>>> (x+y).filled(np.nan) 
array([ 2., 2., 2., 8., nan, 12.]) 

La verdadera dificultad es que parece que quieres nan a ser interpretado como cero a menos que todos los valores en una posición particular son nan. Esto significa que debe mirar tanto x como y para determinar qué nans reemplazar. Si está de acuerdo con reemplazar todos los valores de nan, entonces simplemente puede hacer np.nan_to_num(x) + np.nan_to_num(y).

Answer 2

No estoy seguro de cómo esto podría llevar a cabo, pero vale la pena un tiro :)

def nan_to_zero(array): 
    new_arr = array.copy() 
    new_arr[np.isnan(array)] = 0. 
    return new_arr 

sum(nan_to_zero(arr) for arr in array_generator) 

Esto no se traduce en un NaN en el último lugar de la matriz sin embargo. El resultado es un 0 ...

Answer 3

Se podría hacer algo como:

arr1 = np.array([1.0, 1.0, np.nan, 1.0, 1.0, np.nan]) 
arr2 = np.array([1.0, 1.0, 1.0, 1.0, 1.0, np.nan]) 
flags = np.isnan(arr1) & np.isnan(arr2) 
copy1 = arr1.copy() 
copy2 = arr2.copy() 
copy1[np.isnan(copy1)] = 0.0 
copy2[np.isnan(copy2)] = 0.0 
out = copy1 + copy2 
out[flags] = np.NaN 
print out 
array([ 2., 2., 1., 2., 2., NaN]) 

para encontrar las ubicaciones en las matrices cuando las dos tienen un NaN en ese índice. A continuación, haga básicamente lo que sugirió @mgilson, como hacer copias y reemplazar el NaN con 0.0, agregar los dos arreglos juntos y luego reemplazar los índices marcados arriba con np.NaN.

Answer 4

Veo varias soluciones más simples:

• (editado) Uso de np.ma

  mX = np.ma.masked_array(X, mask=np.isnan(X)) 
  mY = np.ma.masked_array(Y, mask=np.isnan(Y)) 
  mZ = np.ma.masked_array(mX.filled(0) + mY.filled(0), 
           mask=mX.mask * mY.mask) 
  Z = mZ.filled(np.nan) 
  

• (editado) evitando el uso np.ma

  mx = np.isnan(x) 
  my = np.isnan(y) 
  z = np.where(mx,0,x) + np.where(my,0,y) 
  z[mx&my] = np.nan 
  

Answer 5

import numpy as np 
z=np.nansum([X,Y],axis=0)