¿La forma más rápida de importar millones de archivos en R?

Question

Tengo 15 millones de archivos CSV, cada uno con dos columnas (entero y flotante), y entre 5 y 500 filas. Cada archivo se ve algo como:

3453,0.034 
31,0.031 
567,0.456 
... 

Actualmente, estoy interactuando sobre todos los archivos, y el uso de read.csv() importar cada archivo en una lista grande. Aquí hay una versión simplificada:

allFileNames = Sys.glob(sprintf("%s/*/*/results/*/*", dir)) 

s$scores = list() 

for (i in 1:length(allFileNames)){ 
     if ((i %% 1000) == 0){ 
      cat(sprintf("%d of %d\n", i, length(allFileNames))) 
     } 

     fileName = allFileNames[i] 
     approachID = getApproachID(fileName) 
     bugID = getBugID(fileName) 

     size = file.info(fileName)$size 
     if (!is.na(size) && size > 0){ # make sure file exists and is not empty 
      tmp = read.csv(fileName, header=F, colClasses=c("integer", "numeric")) 
      colnames(tmp) = c("fileCode", "score") 
      s$scores[[approachID]][[bugID]] = tmp 
     } else { 
      # File does not exist, or is empty. 
      s$scores[[approachID]][[bugID]] = matrix(-1, ncol=2, nrow=1) 
     } 
    } 

tmp = read.csv(fileName, header=F, colClasses=c("integer", "numeric") 

Más adelante en mi código, volver a través de cada matriz en la lista, y calcular algunas métricas.

Después de iniciar este proceso de importación, parece que tomará del orden de 3 a 5 días para completarse. ¿Hay una manera más rápida de hacer esto?

EDIT: He agregado más detalles sobre mi código.

Answer 1

Usando scan (como el estado de Joshua en el comentario) podría ser más rápido (3-4 veces):

scan(fileName, what=list(0L,0.0), sep=",", dec=".", quiet=TRUE) 

principal diferencia es que la lista scan regresa con dos elementos y read.csv vuelve data.frame.

Answer 2

No me queda claro en su objetivo, pero si usted está tratando de leer todos estos archivos en una única estructura de datos R, luego veo dos grandes problemas de rendimiento: los tiempos de acceso

1. Archivo - desde el momento en que solicita read.csv, se inicia una gran cantidad de procesos complejos en su máquina que implican ver si ese archivo existe, encontrar la ubicación de ese archivo en la memoria o en el disco (y leer los datos en la memoria, si es necesario), luego interpretando los datos dentro de R. Esperaría que esto sea una desaceleración casi constante a medida que lea en millones de archivos.
2. Creciendo su única estructura de datos con cada nuevo archivo leído. Cada vez que quiera agregar algunas filas a su matriz, es probable que necesite reasignar un trozo de memoria de tamaño similar para almacenar la matriz más grande. Si está aumentando su matriz 15 millones de veces, seguramente notará una disminución del rendimiento aquí. Con este problema, el rendimiento empeorará progresivamente a medida que lea en más archivos.

Realice algunos perfiles rápidos y vea cuánto tiempo están tardando las lecturas. Si disminuyen progresivamente a medida que lee en más archivos, entonces centrémonos en el problema # 2. Si es constantemente lento, entonces nos preocupemos por el problema # 1.

soluciones relativas, yo diría que usted podría comenzar con dos cosas:

1. combinar los archivos CSV en otro lenguaje de programación. Un simple script de shell probablemente haría el trabajo por usted si solo está pasando por encima de los archivos y concatenándolos en un solo archivo grande. Como mencionan Joshua y Richie a continuación, es posible que pueda optimizar esto sin tener que desviarse a otro idioma utilizando las funciones más eficaces scan() o readlines().
2. Pre-dimensione su estructura de datos unificada. Si está utilizando una matriz, por ejemplo, establezca el número de filas en ~ 15 millones x 100. Esto asegurará que solo tenga que encontrar espacio en la memoria para este objeto una vez, y el resto de las operaciones simplemente insertarán datos en la matriz pre-dimensionada.

Agregue algunos más detalles de su código (¿cómo se ve la lista que está usando?) Y podremos ser más útiles.

Answer 3

Como mencionó Jeff, hay varias cosas aquí que podrían llevar mucho tiempo. El problema podría ser el acceso a archivos, o leer en los archivos, o quedarse sin memoria cuando tienes 15 millones de marcos de datos en RAM.Para complicar el problema, el cuello puede variar según las especificaciones de su máquina (por ejemplo, un disco duro lento ralentizará la lectura en los archivos, la falta de memoria RAM será un problema con un alto conteo de archivos). Para resolver el problema, tendrá que hacer algunos perfiles.

Trry acaba de leer aproximadamente 10000 archivos para empezar, y llamando al system.time o, más sofisticado, usando rbenchmark para ver lo que lleva más tiempo.

Luego mirada en el acoplamiento de Joran

Quickly reading very large tables as dataframes in R

y ver si alguno de la técnica no le ayuda.

Answer 4

¿Qué tal este flujo de trabajo general? Sin embargo, no probado.

my.list.of.files <- list.files(pattern = ".txt") # char vector of filenames 
my.data <- sapply(my.list.of.files, FUN = function(x) { 
      # read file using scan, craft the output to two columns 
     }) # result is merged 

#or if you use simplify= FALSE 
my.data <- sapply(my.list.of.files, FUN = function(x) { 
      # read file using scan (or some other method), craft the output to two columns 
     }, simplify = FALSE) #you get a list 
my.data <- do.call("rbind", my.data)