¿Por qué python pickle load y dump inflan el tamaño de un objeto en el disco?

Question

Tengo un objeto estibado en un archivo llamado b1.pkl:

$ ls -l b* 
-rw-r--r-- 1 fireball staff 64743950 Oct 11 15:32 b1.pkl 

Luego ejecute el siguiente código Python para cargar el objeto y lo descarga en un archivo nuevo:

import numpy as np 
import cPickle as pkl 

fin = open('b1.pkl', 'r') 
fout = open('b2.pkl', 'w') 

x = pkl.load(fin) 
pkl.dump(x, fout) 

fin.close() 
fout.close() 

El archivo este código crea es más del doble de grande:

$ ls -l b* 
-rw-r--r-- 1 fireball staff 64743950 Oct 11 15:32 b1.pkl 
-rw-r--r-- 1 fireball staff 191763914 Oct 11 15:47 b2.pkl 

Puede alguien explicar por qué el nuevo archivo es mucho más grande que la original? Debe contener exactamente la misma estructura.

Answer 1

Podría ser que el pickle original usara algún otro protocolo. Por ejemplo, intente especificar protocol=2 como argumento de palabra clave en el segundo pickle.dump y vuelva a probarlo. La salmuera binaria debe ser mucho más pequeña en tamaño.

Answer 2

pkl.dump (x, fout, 2) probablemente daría como resultado el mismo tamaño de archivo. No especificar la versión del protocolo hará que pickle use la versión anterior 0.

Answer 3

Lo más probable es que su original b1.pkl se haya extraído usando el modo de protocolo más eficiente (1 o 2). Por lo tanto, su archivo comienza más pequeño.

Cuando carga con cPickle, automáticamente detectará el protocolo del archivo. Pero cuando vaya y lo descargue de nuevo con argumentos predeterminados, usará el protocolo 0, que es mucho más grande. Lo hace por portabilidad/compatibilidad. Debes solicitar explícitamente el protocolo binario.

import numpy as np 
import cPickle 

# random data 
s = {} 
for i in xrange(5000): 
    s[i] = np.random.randn(5,5) 

# pickle it out the first time with binary protocol 
with open('data.pkl', 'wb') as f: 
    cPickle.dump(s, f, 2) 

# read it back in and pickle it out with default args 
with open('data.pkl', 'rb') as f: 
    with open('data2.pkl', 'wb') as o: 
     s = cPickle.load(f) 
     cPickle.dump(s, o) 

$ ls -l 
1174109 Oct 11 16:05 data.pkl 
3243157 Oct 11 16:08 data2.pkl