¿Cómo construyo una matriz numpy de un generador?

Question

¿Cómo puedo construir una matriz numpy a partir de un objeto generador?

Vamos a ilustrar el problema:

>>> import numpy 
>>> def gimme(): 
... for x in xrange(10): 
...  yield x 
... 
>>> gimme() 
<generator object at 0x28a1758> 
>>> list(gimme()) 
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 
>>> numpy.array(xrange(10)) 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 
>>> numpy.array(gimme()) 
array(<generator object at 0x28a1758>, dtype=object) 
>>> numpy.array(list(gimme())) 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 

En este caso, dame() es el generador cuya salida me gustaría convertir en una matriz. Sin embargo, el constructor de la matriz no itera sobre el generador, simplemente almacena el generador. El comportamiento que deseo es el de numpy.array (list (gimme())), pero no quiero pagar la sobrecarga de memoria de tener la lista intermedia y la matriz final en la memoria al mismo tiempo. ¿Hay una manera más eficiente en el uso del espacio?

Answer 1

Las matrices de Numpy requieren que su longitud se establezca explícitamente en el momento de la creación, a diferencia de las listas de Python. Esto es necesario para que el espacio para cada elemento se pueda asignar consecutivamente en la memoria. La asignación consecutiva es la característica clave de las matrices numpy: esto combinado con la implementación del código nativo permite que las operaciones en ellas se ejecuten mucho más rápido que las listas regulares.

Teniendo esto en cuenta, es técnicamente imposible tomar un objeto generador y convertirlo en una matriz a menos que sea:

1. puede predecir cuántos elementos se producirá cuando se ejecuta:

   my_array = numpy.empty(predict_length()) 
   for i, el in enumerate(gimme()): my_array[i] = el 
   

2. están dispuestos para almacenar sus elementos en una lista intermedio:

   my_array = numpy.array(list(gimme())) 
   

3. pueden hacer dos generadores idénticos, funcionamiento a través de la primera uno para encontrar la longitud total, inicializar la matriz, y luego ejecutar a través del generador de nuevo para encontrar cada elemento:

   length = sum(1 for el in gimme()) 
   my_array = numpy.empty(length) 
   for i, el in enumerate(gimme()): my_array[i] = el 
   

es probablemente Que estas buscando. es ineficiente en el espacio, y es ineficiente en el tiempo (tiene que pasar por el generador dos veces).

Answer 2

Un google detrás de este resultado de stackoverflow, encontré que hay un numpy.fromiter(data, dtype, count). El valor predeterminado count=-1 toma todos los elementos del iterable. Requiere que se establezca un dtype explícitamente.En mi caso, esto funcionó:

numpy.fromiter(something.generate(from_this_input), float)

Answer 3

Algo tangencial, pero si el generador es una lista por comprensión, puede utilizar numpy.where para conseguir más eficazmente su resultado (descubrí esto en mi propio código después de ver este post)

Answer 4

Si bien se puede crear una matriz 1D de un generador con numpy.fromiter(), se puede crear una matriz ND de un generador con numpy.stack:

>>> mygen = (np.ones((5, 3)) for _ in range(10)) 
>>> x = numpy.stack(mygen) 
>>> x.shape 
(10, 5, 3) 

también w orks para matrices 1D:

>>> numpy.stack(2*i for i in range(10)) 
array([ 0, 2, 4, 6, 8, 10, 12, 14, 16, 18]) 

en cuenta que numpy.stack está consumiendo internamente el generador y la creación de una lista intermedia con arrays = [asanyarray(arr) for arr in arrays]. La implementación se puede encontrar here.