Optimización para encontrar y reemplazar archivos grandes en Python

Question

Soy un principiante completo para Python o cualquier lenguaje de programación serio para el caso. Finalmente conseguí un código de prototipo para trabajar, pero creo que será demasiado lento.

Mi objetivo es encontrar y reemplazar algunos caracteres chinos en todos los archivos (son csv) en un directorio con números enteros según un archivo csv que tengo. Los archivos están bien numerados por año-mes, por ejemplo 2000-01.csv, y serán los únicos archivos en ese directorio.

Voy a estar recorriendo alrededor de 25 archivos que están en el vecindario de 500mb cada uno (y alrededor de un millón de líneas). El diccionario que utilizaré tendrá unos 300 elementos y cambiaré unicode (carácter chino) a enteros. Intenté con una ejecución de prueba y, asumiendo que todo se amplía linealmente (?), Parece que tomará aproximadamente una semana para que se ejecute.

Gracias de antemano. Aquí está mi código (no se rían!):

# -*- coding: utf-8 -*- 

import os, codecs 

dir = "C:/Users/Roy/Desktop/test/" 

Dict = {'hello' : 'good', 'world' : 'bad'} 

for dirs, subdirs, files in os.walk(dir): 
    for file in files: 
     inFile = codecs.open(dir + file, "r", "utf-8") 
     inFileStr = inFile.read() 
     inFile.close() 
     inFile = codecs.open(dir + file, "w", "utf-8") 
     for key in Dict: 
      inFileStr = inFileStr.replace(key, Dict[key]) 
     inFile.write(inFileStr) 
     inFile.close() 

Answer 1

En su código actual, está leyendo todo el archivo en la memoria a la vez. Como son archivos de 500Mb, eso significa cadenas de 500Mb. Y luego haces reemplazos repetidos de ellos, lo que significa que Python tiene que crear una nueva cadena de 500Mb con el primer reemplazo, luego destruir la primera cadena, luego crear una segunda cadena de 500MB para el segundo reemplazo, luego destruir la segunda cadena, etcétera. para cada reemplazo. Eso resulta ser una gran cantidad de copia de datos hacia adelante y hacia atrás, sin mencionar el uso de mucha memoria.

Si sabe que los reemplazos siempre se incluirán en una línea, puede leer el archivo línea por línea iterando sobre él. Python almacenará en búfer la lectura, lo que significa que estará bastante optimizado. Debería abrir un nuevo archivo, con un nuevo nombre, para escribir el nuevo archivo simultáneamente. Realice el reemplazo en cada línea por turno y escríbalo inmediatamente.Hacer esto reducirá en gran medida la cantidad de memoria utilizada y la cantidad de memoria copiada de ida y vuelta como lo hace los reemplazos:

for file in files: 
    fname = os.path.join(dir, file) 
    inFile = codecs.open(fname, "r", "utf-8") 
    outFile = codecs.open(fname + ".new", "w", "utf-8") 
    for line in inFile: 
     newline = do_replacements_on(line) 
     outFile.write(newline) 
    inFile.close() 
    outFile.close() 
    os.rename(fname + ".new", fname) 

Si no puede estar seguro de si siempre estarán en una línea , las cosas se ponen un poco más difíciles; Tendría que leer en bloques manualmente, usando inFile.read(blocksize), y mantener un seguimiento cuidadoso de si podría haber una coincidencia parcial al final del bloque. No es tan fácil de hacer, pero por lo general todavía vale la pena para evitar las cadenas de 500Mb.

Otra gran mejora sería si pudieras hacer los reemplazos de una vez, en lugar de intentar un montón de reemplazos en orden. Hay varias maneras de hacerlo, pero que se adapta mejor depende completamente de lo que está reemplazando y con qué. Para traducir caracteres individuales en otra cosa, el método translate de objetos Unicode puede ser conveniente. Se le pasa un mapeo dict puntos de código Unicode (como enteros) para cadenas Unicode:

>>> u"\xff and \ubd23".translate({0xff: u"255", 0xbd23: u"something else"}) 
u'255 and something else' 

Para sustitución de subcadenas (y no sólo caracteres individuales), se puede utilizar el módulo re. La función re.sub (y el método de las expresiones regulares compiladas sub) pueden tomar un invocable (una función) como primer argumento, que luego será llamado para cada partido:

>>> import re 
>>> d = {u'spam': u'spam, ham, spam and eggs', u'eggs': u'saussages'} 
>>> p = re.compile("|".join(re.escape(k) for k in d)) 
>>> def repl(m): 
...  return d[m.group(0)] 
... 
>>> p.sub(repl, u"spam, vikings, eggs and vikings") 
u'spam, ham, spam and eggs, vikings, saussages and vikings' 

Answer 2

abrir los archivos de lectura/escritura ('r +') y evitar la doble cerrar (y probablemente asociado al ras buffer) de apertura /. Además, si es posible, no reescriba el archivo completo, busque y vuelva a escribir solo las áreas modificadas después de reemplazar el contenido del archivo. Lea, reemplace, escriba las áreas modificadas (si las hay).

Eso todavía no ayudará al rendimiento demasiado sin embargo, me gustaría perfilar y determinar dónde está realmente el rendimiento alcanzado y luego pasar a la optimización. Podría ser solo que la lectura de los datos del disco es muy lenta, y no hay mucho que puedas hacer al respecto en Python.

Answer 3

Un par de cosas (no relacionada con el problema de optimización):

dir + file debe ser os.path.join(dir, file)

Es posible que desee volver a utilizar no archivoentrada, pero en lugar abierto (y escribir) un archivo de salida independiente. Esto tampoco aumentará el rendimiento, pero es una buena práctica.

No sé si está vinculado a E/S o CPU, pero si la utilización de su CPU es muy alta, es posible que desee utilizar el enhebrado, con cada hilo operando en un archivo diferente (por lo que con un quad procesador central, estarías leyendo/escribiendo 4 archivos diferentes simultáneamente).

Answer 4

Creo que se puede reducir el uso de memoria en gran medida (y así limitar el uso del intercambio y hacer las cosas más rápido) leyendo una línea a la vez y escribiéndola (después de los reemplazos de expresiones regulares ya sugeridas) en un archivo temporal, luego moviendo el archivo para reemplazar el original.