Psycopg2, Postgresql, Python: la forma más rápida de insertar de forma masiva

Question

Estoy buscando la manera más eficiente de insertar a granel algunos millones de tuplas en una base de datos. Estoy usando Python, PostgreSQL y psycopg2.

He creado una larga lista de tulipanes que deben insertarse en la base de datos, a veces con modificadores geométricos como Simplify.

La forma ingenua de hacerlo sería cadena de formato de una lista de INSERT declaraciones, pero hay otros tres métodos que he leído sobre: ​​

1. Uso pyformat binding style para la inserción paramétrica
2. executemany Uso de la lista de tuplas, y
3. Usando escribir los resultados en un archivo y usando COPY.

Parece que la primera forma es la más eficiente, pero agradecería sus ideas y fragmentos de código diciéndome cómo hacerlo bien.

Answer 1

Sí, votaría por COPY, siempre que pueda escribir un archivo en el disco del servidor del disco duro (no en la unidad en la que se ejecuta la aplicación), ya que COPY solo leerá el servidor.

Answer 2

El primero y el segundo se usarán juntos, no por separado. El tercero sería el servidor más eficiente, ya que el servidor haría todos el trabajo duro.

Answer 3

Hay un nuevo psycopg2 manual que contiene ejemplos de todas las opciones.

La opción COPY es la más eficiente. Entonces el ejecutormany. Luego, ejecuta con pyformat.

Answer 4

Usted podría utilizar a new upsert library:

$ pip install upsert 

(puede que tenga que pip install decorator primero)

conn = psycopg2.connect('dbname=mydatabase') 
cur = conn.cursor() 
upsert = Upsert(cur, 'mytable') 
for (selector, setter) in myrecords: 
    upsert.row(selector, setter) 

Dónde selector es un objeto dict como {'name': 'Chris Smith'} y setter es una dict como { 'age': 28, 'state': 'WI' }

Es casi tan rápido como escribir código personalizado INSERTAR [/ ACTUALIZAR] y ejecutarlo directamente con psycopg2 ... y no explotará si la fila ya existe.

Answer 5

en mi experiencia executemany no es más rápido que correr muchas inserciones mismo, la manera más rápida es para dar formato a una sola INSERT con muchos valores a ti mismo, quizás en el futuro executemany mejorará pero por ahora es bastante lento

i subclase a list y la sobrecarga del método de agregación, por lo que cuando una la lista alcanza un determinado tamaño i formato al INSERT para ejecutarlo

Answer 6

Después de algunas pruebas, unnest menudo parece ser una opción muy rápido, ya que aprendí de @Clodoaldo Neto's answer a una pregunta similar.

data = [(1, 100), (2, 200), ...] # list of tuples 

cur.execute("""CREATE TABLE table1 AS 
       SELECT u.id, u.var1 
       FROM unnest(%s) u(id INT, var1 INT)""", (data,)) 

Sin embargo, es can be tricky with extremely large data.

Answer 7

Cualquier persona que use sqlalchemy podría probar la versión 1.2, que añade soporte de inserción masiva de usar psycopg2.extras.execute_batch() en lugar de executemany al inicializar el motor con use_batch_mode = True como:

engine = create_engine(
    "postgresql+psycopg2://scott:tiger@host/dbname", 
    use_batch_mode=True) 

http://docs.sqlalchemy.org/en/latest/changelog/migration_12.html#change-4109

Entonces alguien tendría que usar SQLalchmey no se molestará en probar diferentes combinaciones de sqla y psycopg2 y dirigir SQL juntos.