¿Cómo optimizar MySQL para insertar una fila de millones?

Question

Necesito insertar millones de filas en la base de datos MySQL (motor InnoDB). Tengo un problema con el tiempo cuando las tablas tienen tamaños grandes. Casi todo el tiempo se usa para insertar consultas. ¿Tal vez alguien sepa cómo optimizarlo?

Answer 1

Para importar gran volumen de datos en InnoDB:

1. conjunto en la configuración de MySQL

   • innodb_doublewrite = 0
   • innodb_buffer_pool_size = 50% + sistema de memoria
   • innodb_log_file_size = 512M
   • log-bin = 0
   • innodb_support_xa = 0
   • innodb_flush_log_at_trx_commit = 0

2. Agregar justamente después del lanzamiento de transacción:

   FOREIGN_KEY_CHECKS SET = 0;

   SET UNIQUE_CHECKS = 0;

   SET AUTOCOMMIT = 0;

3. Conjunto justo antes de final de transacción:

   SET UNIQUE_CHECKS = 1;

   SET FOREIGN_KEY_CHECKS = 1;

Answer 2

Si habla de un gran número de declaraciones INSERT, investigue algo que se llama transacciones. Estoy bastante seguro de que la mayoría de los lenguajes (si no todos) que hacen SQL admiten transacciones. Acelerarán cualquier cosa que implique escribir en la base de datos. Una ventaja adicional es que si algo sale mal, puede deshacer los cambios.