de noche,30 millones de filas de MySQL
estoy pasando por el largo proceso de importación de datos desde un maltratadas, de 15 años de edad, de sólo lectura formato de datos en MySQL para construir unas tablas estadísticas más pequeños de ella .
La tabla más grande que he construido antes era (creo) 32 millones de filas, pero no esperaba que fuera tan grande y realmente estaba forzando a MySQL.
La tabla se verá así:
surname name year rel bco bplace rco rplace
Jones David 1812 head Lond Soho Shop Shewsbury
Así, los pequeños enteros y varchars.
¿Alguien podría ofrecer consejos sobre cómo hacer que esto funcione tan rápido como sea posible? Ayudarían los índices de cualquiera de los códigos, o simplemente reducirían la velocidad de las consultas.
Gran parte de los datos en cada columna se duplicará muchas veces. Algunos campos no tienen mucho más que unos 100 valores posibles diferentes.
Las columnas principales en las que consultaré la tabla son: apellido, nombre, rco, rplace.
Los índices aceleran la recuperación de datos y ralentizan la inserción de datos. En términos generales, son algo muy bueno: sugiero crearlos para cada una de las columnas en las que es probable que consultes la tabla. – eggyal
30 millones de filas no son muchas para un RDBMS moderno. A menos que esté haciendo escaneos de tabla completa sin índices, por supuesto. –
Gracias por tu comentario. Creo que ese fue uno de los problemas con mis 32 mil. mesa de fila Insertar filas estaba causando bloqueos. –