Reducir los datos del gráfico sin perder la forma del gráfico

Question

Tengo un conjunto de datos con 100 000 puntos de datos que debo trazar en un gráfico. El gráfico resultante tendrá aproximadamente 500 px de ancho, por lo que para cada píxel habrá cerca de 200 puntos de datos, lo que parece bastante innecesario.

Necesito encontrar una manera de deshacerme de los puntos de datos excedentes sin perder la forma del gráfico para acelerar el renderizado. Actualmente, la renderización de los 100 000 puntos puede tomar más de 10 segundos ya que también estoy usando anti-aliasing y otros "efectos".

Intenté abordar este problema tomando cada punto de datos número 200 y trazándolos, pero esto da como resultado la pérdida de algunos de los puntos más significativos (piense en los picos en el gráfico que deseo poder mostrar). También pensé en dividir el conjunto de datos en fragmentos de 200 puntos de datos, y luego tomar el valor máximo de cada fragmento pero eso tampoco funcionaría.

¿Alguien conoce un método que se adapte a mis necesidades aquí? El lenguaje que estoy usando es PHP, el gráfico es creado por GD y los datos provienen de MySQL, por lo que las optimizaciones para algunos de ellos son bienvenidas.

---

Los datos están en este formato:

Datetime    Value 
2005-01-30 00:00:00 35.30 
2005-01-30 01:00:00 35.65 
2005-01-30 02:00:00 36.15 
2005-01-30 03:00:00 35.95 
... 

Y la gráfica resultante Actualmente tiene este aspecto:

alt text http://www.ulmanen.fi/stuff/graph-sample.png

Answer 1

Me parece que 1 en 200 es una pérdida de datos bastante grave, y si esos 200 valores que deben representarse con un valor en el gráfico no son lo suficientemente cercanos para ser sustituidos significativamente por un promedio, usted mismo problema. Si el promedio no es lo suficientemente bueno, debe encontrar un criterio para decir qué datos son más significativos y deben incluirse, y no podemos ayudarlo porque no sabemos qué tipo de datos son, sus propiedades estadísticas , o por qué cualquier valor sería más significativo que el otro. Con esa información adicional, tal vez se podría dar una respuesta más específica.

EDITAR: Después de mirar el gráfico, parece que necesita tanto el mínimo como el máximo en un intervalo dado, porque el área azul oscura son valores entre esos dos, ¿correcto? Tal vez pueda tomar 100 valores y hacer un gráfico de mínimo, máximo y promedio, de modo que cada punto del gráfico se haga con 6 en lugar de 200 valores, o algo así.

Answer 2

No sé cuál es su código/fuente de datos parece, pero ¿es posible hacer una distinción en su declaración de selección de MySQL para reducir la cantidad de puntos de datos que se regresan a su aplicación?

Answer 3

Creo que el promedio ordinario de cada 200 grupos de puntos sería suficiente.

Answer 4

Un enfoque para su problema es la destrucción máxima-mínima; Le sugiero que busque una definición y un algoritmo que no tengo a mano o que quisiera compartir con usted.

Más allá de eso, creo que podría utilizar un filtro de paso bajo (anti-aliasing) seguido de una simple destrucción (es decir, tirar el exceso de puntos).

Answer 5

Otro enfoque que podría funcionar es dividir el gráfico en contenedores de 200 puntos, y descartar todos los puntos, excepto el máximo, mínimo y mediano en cada intervalo. Cada uno de los tres puntos en el intervalo se traza en su ubicación original, por lo que las ubicaciones de los valores extremos no cambiarán.Usar la mediana en lugar de la media probablemente funcione mejor para su conjunto de datos porque los máximos son mucho más extremos que los mínimos, lo que causaría que el gráfico filtrado se moviera hacia arriba si usaba la media.

Answer 6

Sé que esta pregunta es bastante antigua pero tuve un problema casi similar.

Para reducir el número de puntos para mostrar sin afectar la forma del gráfico, usamos el Ramer-Douglas-Peucker algoritm. La diferencia de forma entre el gráfico descomprimido y el que tiene este algoritmo es imperceptible.