Más rápido que os.walk o glob?

Question

Estoy jugando con las búsquedas de archivos en python en un disco duro grande. He estado mirando os.walk y glob. Usualmente uso os.walk ya que me parece mucho más ordenado y parece ser más rápido (para los directorios de tamaño habitual).

¿Alguien ha tenido alguna experiencia con ambos y podría decir cuál es más eficiente? Como digo, glob parece ser más lento, pero puedes usar comodines, etc., como en el caso de caminar, tienes que filtrar los resultados. Aquí hay un ejemplo de búsqueda de volcados de memoria.

core = re.compile(r"core\.\d*") 
for root, dirs, files in os.walk("/path/to/dir/") 
    for file in files: 
     if core.search(file): 
      path = os.path.join(root,file) 
      print "Deleting: " + path 
      os.remove(path) 

O

for file in iglob("/path/to/dir/core.*") 
    print "Deleting: " + file 
    os.remove(file) 

Answer 1

me hizo una investigación sobre una pequeña caché de páginas web en 1000 directorios. La tarea era contar una cantidad total de archivos en directorios. La salida es:

os.listdir: 0.7268s, 1326786 files found 
os.walk: 3.6592s, 1326787 files found 
glob.glob: 2.0133s, 1326786 files found 

Como se ve, os.listdir es más rápida de tres.Y glog.glob es aún más rápido que os.walk para esta tarea.

La fuente:

import os, time, glob 

n, t = 0, time.time() 
for i in range(1000): 
    n += len(os.listdir("./%d" % i)) 
t = time.time() - t 
print "os.listdir: %.4fs, %d files found" % (t, n) 

n, t = 0, time.time() 
for root, dirs, files in os.walk("./"): 
    for file in files: 
     n += 1 
t = time.time() - t 
print "os.walk: %.4fs, %d files found" % (t, n) 

n, t = 0, time.time() 
for i in range(1000): 
    n += len(glob.glob("./%d/*" % i)) 
t = time.time() - t 
print "glob.glob: %.4fs, %d files found" % (t, n) 

Answer 2

Si necesita recursivo a través de subdirectorios, os.walk. De lo contrario, creo que sería más fácil usar glob.iglob o os.listdir.

Answer 3

Puede usar os.walk y seguir usando la coincidencia de estilo glob.

for root, dirs, files in os.walk(DIRECTORY): 
    for file in files: 
     if glob.fnmatch.fnmatch(file, PATTERN): 
      print file 

No

seguro acerca de la velocidad, pero obviamente ya os.walk es recursivo, que hacen cosas diferentes.

Answer 4

No pierda su tiempo para la optimización antes de medir/perfilar. Concéntrese en hacer que su código sea simple y fácil de mantener.

Por ejemplo, en su código precompila RE, lo que no le da ningún impulso de velocidad, porque el módulo tiene re._cache interno de RE precompilados.

1. Debe ser sencillo
2. si es lenta, entonces perfil
3. una vez que sabe exactamente lo que necesita ser optimizado hacer algunos ajustes y siempre documentarla

Tenga en cuenta, que algunos optimización hecho varias años antes puede hacer que el código se ejecute más lento en comparación con el código "no optimizado". Esto aplica especialmente para los lenguajes modernos basados ​​en JIT.

Answer 5

*, ?, and character ranges expressed with [] will be correctly matched. This is done by using the os.listdir() and fnmatch.fnmatch() functions

creo que incluso con el pegote que todavía tendría que os.walk, a menos que conozca directamente la profundidad de su árbol de subdirectorio es.

Btw. en el glob documentation que dice:

"? *, y rangos de caracteres expresados ​​con [] estarán correctamente emparejado Esto se hace mediante el uso de la os.listdir() y fnmatch.fnmatch() funciones."

yo simplemente ir con un

for path, subdirs, files in os.walk(path): 
     for name in fnmatch.filter(files, search_str): 
      shutil.copy(os.path.join(path,name), dest)