Python y sqlite3 - agregando miles de filas

Question

Tengo un archivo .sql que contiene miles de instrucciones de inserción individuales. Lleva una eternidad hacerlos todos. Estoy tratando de encontrar una manera de hacer esto de manera más eficiente. En python, la biblioteca sqlite3 no puede hacer cosas como ".read" o ".import", pero executescript es demasiado lento para muchas inserciones.

Instalé el shell sqlite3.exe con la esperanza de usar ".read" o ".import" pero no puedo entender cómo usarlo. Ejecutarlo a través de django en eclipse no funciona porque espera que la base de datos esté en la raíz de mi unidad C, lo que parece una tontería. Ejecutarlo a través de la línea de comandos no funciona porque no puede encontrar el archivo de mi base de datos (a menos que esté haciendo algo mal)

¿Algún consejo?

Gracias!

Answer 1

¿Está utilizando transacciones? SQLite creará una transacción para cada insert statement individually by default, lo que ralentiza la velocidad.

Por defecto, el módulo del sqlite3 abre transacciones implícitamente antes a Los datos Modificación Language (DML) (es decir INSERT/UPDATE/borrar/reemplazar)

Si crea manualmente una sola transacción al principio y al final lo comprometerá, acelerará mucho las cosas.

Answer 2

¿Intentó ejecutar las inserciones dentro de una sola transacción? Si no, cada inserción se trata como una transacción y ... bueno, puede leer las preguntas más frecuentes de SQLite para este here

Answer 3

utilizar una consulta parametrizada

y

Uso de una transacción.

Answer 4

También pruebe VACUUM y ANALYZE ing en el archivo de la base de datos. Me ayudó con un problema similar al mío.