Python: interactuar con el almacén de datos complejo

Question

Hemos trabajado duro para desarrollar un modelo de base de datos de nuestro problema, y ​​ahora es el momento de comenzar a codificar. Nuestros proyectos anteriores han utilizado consultas hechas a mano construidas por manipulación de cadenas.

¿Existe alguna práctica mejor/estándar para la interfaz entre python y un diseño de base de datos complejo?

me he evaluado brevemente SQLAlchemy, SQLObject, y Django-ORM, pero (yo pueda fácilmente estar perdiendo algo) que parecen estar sintonizados para la pequeña de tipo web (OLTP) las transacciones, donde estoy haciendo alto volumen analítica (OLAP) transacciones.

Algunos de mis necesidades, que pueden ser algo diferente de lo habitual:

1. de carga de grandes cantidades de datos relativamente rápidamente
2. actualizar/insertar pequeñas cantidades de datos de forma rápida y fácil
3. manejar un gran número de filas fácilmente (300 entradas por minuto durante 5 años)
4. permiten modificaciones en el esquema, para requisitos futuros

Escribir estas consultas es fácil, pero escribir el código para alinear todos los datos es tedioso, especialmente a medida que el esquema evoluciona. Esto parece algo en lo que una computadora puede ser buena?

Answer 1

SQLAlchemy definitivamente. En comparación con SQLAlchemy, todos los demás ORM se parecen al juguete de un niño. Especialmente el Django-ORM. Qué es Hibernate to Java, SQLAlchemy es para Python.

Answer 2

No se deje confundir por sus requisitos. Una talla no sirve para todos.

de carga de grandes cantidades de datos relativamente rápidamente

Por qué no usar los cargadores nativos de las bases de datos para esto? Use Python para preparar archivos, pero use herramientas de base de datos para cargar. Descubrirás que esto es increíblemente rápido.

actualización/insertar pequeñas cantidades de datos de forma rápida y sencilla

que empieza a romper las reglas de un almacén de datos. A menos que esté hablando de Master Data Management para actualizar los atributos de informe de una dimensión.

Para eso están diseñados ORM y frameworks web.

manejar un gran número de filas facilidad (300 entradas por minuto más de 5 años)

Una vez más, es por eso que utilice una tubería de procesamiento de front-end Python, pero del INSERT real son realizadas por la base de datos herramientas. No Python.

esquema alter (junto con la interfaz de Python) fácilmente, para los futuros requisitos

usted no tiene casi ningún uso para automatizar esto. Sin duda es su tarea de menor prioridad para "programar".A menudo lo hará manualmente para preservar los datos correctamente.

Por cierto, "consultas hechas a mano construidas por manipulación de cadenas" es probablemente el mayor error de todos. Estos son difíciles de manejar para el analizador RDBMS; son más lentos que el uso de consultas que tienen variables de vinculación insertadas.

Answer 3

Estoy usando SQLAlchemy con un datawarehouse bastante grande y lo estoy usando para el proceso completo de ETL con éxito. Especialmente en ciertas fuentes donde tengo algunas reglas de transformación complejas o con algunas fuentes heterogéneas (como servicios web). No estoy usando el Sqlalchemy ORM, sino más bien utilizando su Lenguaje de Expresión SQL porque realmente no necesito mapear nada con objetos en el proceso ETL. Vale la pena notar que cuando traigo una copia textual de algunas de las fuentes, prefiero usar las herramientas db para eso, como la utilidad de volcado de PostgreSQL. No puedes vencer eso. SQL Expression Language es lo más cercano que obtendrá con SQLAlchemy (o cualquier ORM) para escribir a mano SQL, pero dado que puede generar programáticamente el SQL de python ahorrará tiempo, especialmente si tiene reglas de transformación muy complejas.

Una cosa, prefiero modificar mi esquema a mano. No confío en ninguna herramienta para ese trabajo.