PostgreSQL lento en una tabla grande con matrices y muchas actualizaciones

Question

Tengo una tabla bastante grande (20M registros) que tiene un índice de 3 columnas y una columna de matriz. La columna de matriz se actualiza diariamente (al agregar nuevos valores) para todas las filas. También hay inserciones, pero no tanto como hay actualizaciones.

Los datos en la matriz representan las medidas diarias correspondientes a las tres teclas, algo como esto: [[date_id_1, my_value_for_date_1], [date_id_2, my_value_for_date_2]]. Se usa para dibujar un gráfico de esos valores diarios. Supongamos que quiero visualizar el valor de la clave (a, b, c) con el tiempo, lo hago SELECT values FROM t WHERE a = my_a AND b = my_b AND c = my_c. Luego uso la matriz values para dibujar el gráfico.

El rendimiento de las actualizaciones (que suceden a granel una vez al día) ha empeorado considerablemente con el tiempo.

Usando PostgreSQL 8.3.8.

¿Puede darme algún indicio de dónde buscar una solución? Podría ser cualquier cosa, desde modificar algunos parámetros en postgres hasta moverlos a otra base de datos (supongo que una base de datos no relacional sería más adecuada para esta tabla en particular, pero no tengo mucha experiencia con ellos).

Answer 1

Me gustaría echar un vistazo al FILLFACTOR de la tabla. Por defecto está configurado en 100, podría bajarlo a 70 (para empezar). Después de esto, tienes que hacer un VACÍO LLENO para reconstruir la tabla.

ALTER TABLE tablename SET (FILLFACTOR = 70); 
VACUUM FULL tablename; 
REINDEX TABLE tablename; 

Esto da ACTUALIZACIÓN la oportunidad de colocar la copia actualizada de una fila en la misma página que el original, que es más eficiente que colocarlo en una página diferente. O si su base de datos ya está algo fragmentada a partir de muchas actualizaciones anteriores, es posible que ya esté suficientemente espaciada. Ahora su base de datos también tiene la opción de hacer HOT updates, asumiendo que la columna que está actualizando no está involucrada en ningún índice.

Answer 2

No estoy seguro si las matrices son el camino a seguir aquí.

¿Por qué no almacenar estos en una tabla separada (un valor más claves por fila) entonces la actualización en masa será la actividad de inserción pura.

Answer 3

Bueno, un índice de 3 columnas no es nada de qué preocuparse. Eso no necesariamente lo hace mucho más lento. Pero esa matriz de matriz podría ser el problema. Usted dice que está agregando valores a esa columna de matriz diariamente. Al agregar, ¿quiere decir agregar valores a todos los 20 millones? registros en la tabla? ¿O solo algunos discos?

La situación no está del todo clara para mí, pero sugeriría buscar formas de deshacerse de esa columna de matriz. Por lo que es una mesa separada, por ejemplo. Pero, esto depende de su situación y podría no ser una opción. Podría ser solo yo, pero siempre me siento 'sucio' con una columna así en una de mis mesas. Y la mayoría de las veces hay una solución mejor para el problema que está tratando de resolver con esa matriz de matriz. Dicho esto, ciertamente hay situaciones en las que dicha columna es válida, pero en este momento, no puedo pensar en ninguna. Ciertamente no en una mesa con un 20 mln. número de registros.

Answer 4

El problema está en las actualizaciones. Cambie el esquema de la matriz en función de múltiples filas por día, y el problema de rendimiento desaparecerá.

Puede agregar rollups a arreglos, más adelante, con algún tipo de cronjob, pero evite las actualizaciones.