Scikit y Pandas: Ajuste de datos grandes

Question

¿Cómo uso scikit-learn para entrenar un modelo en un gran csv de datos (~ 75MB) sin tener problemas de memoria?

Estoy usando el cuaderno de IPython como entorno de programación, y pandas + sklearn paquetes para analizar los datos del tutorial del reconocedor de dígitos de kaggle.

Los datos están disponibles en la webpage, enlace a my code, y aquí está la error message:

KNeighborsClassifier se utiliza para la predicción.

Problema:

"MemoryError" se produce al cargar gran conjunto de datos usando read_csv función . Para evitar temporalmente este problema, debo reiniciar el núcleo , que luego la función read_csv carga con éxito el archivo, pero se produce el mismo error cuando vuelvo a ejecutar la misma celda.

Cuando la función read_csv carga el archivo con éxito, después de hacer cambios a la dataframe, que pueden pasar las características y etiquetas para la función() ajuste del KNeighborsClassifier. En este punto, se produce un error de memoria similar.

He intentado lo siguiente:

Iterar a través del archivo CSV en trozos, y ajustar los datos en consecuencia, pero el problema es que el modelo predictivo se sobrescribe cada vez que un fragmento de datos.

¿Qué crees que puedo hacer para entrenar con éxito mi modelo sin tener que tener problemas de memoria?

Answer 1

Nota: al cargar los datos con los pandas se creará un objeto DataFrame donde cada columna tiene un tipo de datos homogénea para todas las filas 2 columnas, pero puede tener tipos de datos distintos (por ejemplo, enteros, fechas, cuerdas).

Cuando se pasa una instancia DataFrame a un modelo scikit-learn va a asignar primero una matriz 2D numpy homogénea con dtype np.float32 o np.float64 (dependiendo de la implementación de los modelos). En este punto, tendrá 2 copias de su conjunto de datos en la memoria.

Para evitar esto, puede escribir/reutilizar un analizador CSV que asigna directamente los datos en el formato interno/tipo esperado por el modelo scikit-learn. Puede probar numpy.loadtxt por ejemplo (eche un vistazo a la docstring para ver los parámetros).

Además, si sus datos son muy escasos (muchos valores cero), será mejor utilizar una estructura de datos scipy.sparse y un modelo scikit-learn que pueda tratar con un formato de entrada de este tipo (consulte las instrucciones para saber). Sin embargo, el formato CSV en sí mismo no es muy adecuado para datos escasos y no estoy seguro de que exista un analizador CSV-to-scipy.sparse directo.

Editar: para referencia KNearestNeighborsClassifer asignar gama distancias temporal con forma (n_samples_predict, n_samples_train) que es un gran desperdicio cuando se necesita solamente (n_samples_predict, n_neighbors) lugar.Este problema se puede seguir aquí:

https://github.com/scikit-learn/scikit-learn/issues/325