Procesando archivo de texto grande en C#

Question

Tengo 4GB + archivos de texto (formato csv) y quiero procesar este archivo usando linq en C#.

Ejecuto la consulta compleja de linq después de cargar csv y convertir a la clase?

pero el tamaño del archivo es 4gb aunque la memoria de la aplicación es del doble tamaño del archivo.

¿cómo puedo procesar (linq y nuevo resultado) archivos de gran tamaño?

Gracias

Answer 1

En lugar de cargar todo el archivo en la memoria, se puede leer y procesar la línea por línea del archivo.

using (var streamReader = new StreamReader(fileName)) 
{ 
    string line; 
    while ((line = streamReader.ReadLine()) != null) 
    { 
     // analize line here 
     // throw it away if it does not match 
    } 
} 

[EDIT]

Si necesita ejecutar consultas complejas en contra de los datos en el archivo, lo que hay que hacer es cargar los datos a la base de datos y dejar DBMS para cuidar de datos recuperación y gestión de memoria.

Answer 2

Creo que ésta es una buena manera ... CSV

Answer 3

Si está utilizando .NET 4.0 se podría utilizar Clay y luego escribir un método que devuelve una línea IEnumerable para la línea y eso hace que un código como el siguiente posible

from record in GetRecords("myFile.csv",new []{"Foo","Bar"},new[]{","}) 
where record.Foo == "Baz" 
select new {MyRealBar = int.Parse(record.Bar) 

el método para proyectar la CSV en una secuencia de objetos de arcilla podría crearse como:

private IEnumerable<dynamic> GetRecords(
        string filePath, 
        IEnumerable<string> columnNames, 
        string[] delimiter){ 
      if (!File.Exists(filePath)) 
       yield break; 
      var columns = columnNames.ToArray(); 
      dynamic New = new ClayFactory(); 
      using (var streamReader = new StreamReader(filePath)){ 
       var columnLength = columns.Length; 
       string line; 
       while ((line = streamReader.ReadLine()) != null){ 
        var record = New.Record(); 
        var fields = line.Split(delimiter, StringSplitOptions.None); 
        if(fields.Length != columnLength) 
         throw new InvalidOperationException(
           "fields count does not match column count"); 
        for(int i = 0;i<columnLength;i++){ 
         record[columns[i]] = fields[i]; 
        } 
        yield return record; 
       } 
      } 
     }