Desaceleración de la velocidad de inserción a medida que la tabla crece en mysql

Question

Estoy tratando de obtener una mejor comprensión sobre la velocidad de inserción y los patrones de rendimiento en mysql para un producto personalizado. Tengo dos tablas a las que agrego nuevas filas. Las dos tablas se definen de la siguiente manera:

CREATE TABLE events (
added_id INT NOT NULL AUTO_INCREMENT PRIMARY KEY, 
id BINARY(16) NOT NULL, 
body MEDIUMBLOB, 
UNIQUE KEY (id)) ENGINE InnoDB; 

CREATE TABLE index_fpid (
fpid VARCHAR(255) NOT NULL, 
event_id BINARY(16) NOT NULL UNIQUE, 
PRIMARY KEY (fpid, event_id)) ENGINE InnoDB; 

y guardo la inserción de nuevos objetos a ambas tablas (para cada nuevo objeto, i insertar la información relevante para ambas tablas en una sola transacción). Al principio, obtengo alrededor de 600 inserciones/seg, pero después de ~ 30000 filas, obtengo una desaceleración significativa (alrededor de 200 inserciones/seg), y luego una desaceleración más lenta, pero aún notable.

Veo que a medida que la tabla crece, los números de espera de IO se vuelven cada vez más altos. Mi primer pensamiento fue la memoria tomada por el índice, pero esos se hacen en una máquina virtual que tiene 768 Mb, y está dedicada a esta tarea sola (2/3 de memoria no se utilizan). Además, tengo dificultades para ver 30000 filas que toman tanta memoria, incluso más los índices (todo el directorio de datos mysql < 100 Mb de todos modos). Para confirmar esto, asigné muy poca memoria a la VM (64 Mb), y el patrón de desaceleración es casi idéntico (es decir, aparece la disminución después de la misma cantidad de inserciones), así que sospecho algunos problemas de configuración, especialmente porque soy relativamente nuevo bases de datos.

El patrón se ve de la siguiente manera:

Tengo un script en Python autónomo que reproduce el problema, que pueda poner a disposición si eso es útil.

Configuración:

• Ubuntu 10.04, 32 bits que se ejecutan en KVM, 760 Mb que se le asignen.
• MySQL 5.1, fuera de la configuración de la caja con los archivos separados para las tablas

[EDIT]

muchas gracias a Eric Holmberg, que clavó. Aquí están los gráficos después de reparar el innodb_buffer_pool_size a un valor razonable:

Answer 1

Edite su archivo /etc/mysql/my.cnf y asegúrese de asignar suficiente memoria al grupo de búferes de InnoDB. Si se trata de un servidor dedicado, probablemente pueda usar hasta el 80% de la memoria de su sistema.

# Provide a buffer pool for InnoDB - up to 80% of memory for a dedicated database server 
innodb_buffer_pool_size=614M 

Las claves primarias son B Árboles por lo inserciones siempre llevará tiempo O (logN) y una vez que se quede sin memoria caché, que se iniciará el canje como locos. Cuando esto sucede, es probable que desee dividir los datos para mantener la velocidad de inserción. Consulte http://dev.mysql.com/doc/refman/5.1/en/partitioning.html para obtener más información sobre el particionamiento.

¡Buena suerte!

Answer 2

Es posible que sus índices solo necesiten ser analizados y optimizados durante la inserción, que gradualmente se irán formando a medida que avanza. La otra opción, por supuesto, es deshabilitar los índices completamente cuando los está insertando y reconstruirlos más tarde, lo que debería proporcionar un rendimiento más consistente.

Great link about insert speed.

ANALYZE. OPTIMIZE

Answer 3

La verificación de que la inserción no infringe una restricción de clave lleva tiempo, y ese tiempo aumenta a medida que la tabla aumenta. Si está interesado en el rendimiento a toda máquina, usar LOAD DATA INFILE mejorará considerablemente la velocidad de su inserción.