¿Cómo escribir XML (grande) en un archivo en C#?

Question

Gente,

Por favor, ¿cuál es una buena forma de escribir documentos XML muy grandes (hasta 500 MB) en C# .NET 3.5? He tenido un poco de búsqueda, y parece que no puedo encontrar nada que aborde esta pregunta específica.

Mi hilo anterior (What is the best way to parse (big) XML in C# Code?) cubierto leyendo documentos de magnitud similar Xml ... Con eso resuelto, tengo que pensar en cómo escribir las características actualizadas (http://www.opengeospatial.org/standards/sfa) en un documento "update.xml".

Mis ideas: Obviamente, se ha eliminado un gran DOM, teniendo en cuenta el tamaño máximo del documento que se va a producir. Estoy usando XSD.EXE para generar clases de enlace desde el esquema ... que funciona muy bien con la clase XmlSerializer, pero creo que construye un DOM "bajo el capó". ¿Es esto correcto?. No puedo mantener todas las funciones (hasta 50,000 de ellas) en la memoria al mismo tiempo. Necesito leer una característica de la base de datos, serializarla y escribirla en un archivo. Así que estoy pensando que debería usar XmlSerializer para escribir un "doclet" para cada característica individual en el archivo. Todavía no tengo idea (todavía) si esto es posible/factible.

¿Qué opinas?

Antecedentes: Estoy portando un viejo VB6 MapInfo "cliente complemento" a C#. Existe un "servicio de actualización" de J2EE (en realidad solo una aplicación web) con el que debe trabajar este programa (entre otros). No puedo cambiar el servidor; a menos que sea absapositivamente necesario; especialmente de eso implica cambiar a los otros clientes. El servidor acepta un documento XML con un esquema que no especifica ningún espacio de nombres ... es decir: solo hay espacio de nombres predeterminado, y todo está en él.

Mi experiencia: Soy casi un C# y .NET novato. He estado programando durante aproximadamente 10 años en varios idiomas, incluidos Java, VB, C y algunos C++.

Saludos a todos. Keith.

PD: Es la hora de la cena, así que estaré ausente durante aproximadamente media hora.

Answer 1

Para escribir xml grande, XmlWriter (directamente) es su amigo, pero es más difícil de usar. La otra opción sería utilizar enfoques DOM/objeto-modelo y combinarlas, que es probablemente factible si que tomar el control del XmlWriterSettings y desactivar el marcador de XML, y deshacerse de las declaraciones de espacios de ...

using System; 
using System.Collections.Generic; 
using System.Xml; 
using System.Xml.Serialization;  
public class Foo { 
    [XmlAttribute] 
    public int Id { get; set; } 
    public string Bar { get; set; } 
} 
static class Program { 
    [STAThread] 
    static void Main() { 
     using (XmlWriter xw = XmlWriter.Create("out.xml")) { 
      xw.WriteStartElement("xml"); 
      XmlSerializer ser = new XmlSerializer(typeof(Foo)); 
      XmlSerializerNamespaces ns = new XmlSerializerNamespaces(); 
      ns.Add("",""); 
      foreach (Foo foo in FooGenerator()) { 
       ser.Serialize(xw, foo, ns); 
      } 
      xw.WriteEndElement(); 
     } 
    }  
    // streaming approach; only have the smallest amount of program 
    // data in memory at once - in this case, only a single `Foo` is 
    // ever in use at a time 
    static IEnumerable<Foo> FooGenerator() { 
     for (int i = 0; i < 40; i++) { 
      yield return new Foo { Id = i, Bar = "Foo " + i }; 
     } 
    } 
} 

Answer 2

¿Por qué no simplemente usar un TextWriter para escribir el XML?

Answer 3

Utilice un XmlWriter:

[...] un escritor que proporciona una forma rápida, sin almacenamiento en caché, sólo avance medio de corrientes generadoras o archivos que contienen datos XML .

Answer 4

¿Consideró comprimirlo antes de escribirlo en el disco? Con XML puede llegar a comprimirse más de 10 veces y aún más. probablemente le tomará menos tiempo comprimir el archivo y escribir la versión comprimida que leer toda la versión de 500Mb.