numpy: booleano indexación y el uso de memoria

Question

Consideremos el siguiente código numpy:

A[start:end] = B[mask] 

aquí:

• A y B son matrices 2D con el mismo número de columnas;
• start y end son escalares;
• mask es una matriz booleana 1D;
• (end - start) == sum(mask).

En principio, la operación anterior se puede llevar a cabo utilizando O(1) almacenamiento temporal, copiando elementos de B directamente en A.

¿Esto es realmente lo que sucede en la práctica, o numpy construye una matriz temporal para B[mask]? Si es este último, ¿hay alguna forma de evitar esto reescribiendo el enunciado?

Answer 1

El uso de matrices booleanas como índice es una indexación sofisticada, por lo que numpy necesita hacer una copia. Podrías escribir una extensión cython para manejarlo, si tienes problemas de memoria.

Answer 2

La línea

A[start:end] = B[mask] 

será - según la definición del lenguaje Python - evaluar primero el lado derecho, produciendo una nueva matriz que contiene las filas seleccionadas de B y ocupando memoria adicional. La forma más pura de Python más eficiente Soy consciente de evitar esto es utilizar un bucle explícito:

from itertools import izip, compress 
for i, b in izip(range(start, end), compress(B, mask)): 
    A[i] = b 

Por supuesto, esto será mucho menos eficiente en el tiempo de su código original, pero sólo usa O (1) memoria adicional. También tenga en cuenta que itertools.compress() está disponible en Python 2.7 o 3.1 o superior.