SqlBulkCopy de una lista <>

Question

¿Cómo puedo hacer una gran inserción con SqlBulkCopy desde una lista <> de objeto simple?

¿Implemento mi IDataReader personalizado?

Answer 1

Simplemente create a DataTable de su lista de objetos y llame al SqlBulkCopy.WriteToServer, pasando la tabla de datos.

Puede que le resulte útil la siguiente:

• Adding columns to a DataTable. Agregue una columna para cada propiedad/campo que desea escribir.
• Adding rows to a DataTable. Agregue una fila para cada objeto en su lista.

Para obtener el máximo rendimiento con SqlBulkCopy, debe establecer un BatchSize apropiado. 10.000 parece funcionar bien, pero el perfil de sus datos.

También puede observar mejores resultados al usar SqlBulkCopyOptions.TableLock.

Se puede encontrar un análisis interesante e informativo del rendimiento de SqlBulkCopy here.

Answer 2

Con FastMember, usted puede hacer esto sin tener que tener que ir a través de DataTable (que, en mis pruebas, más de lo duplica el rendimiento):

using(var bcp = new SqlBulkCopy(connection)) 
using(var reader = ObjectReader.Create(data, "Id", "Name", "Description")) 
{ 
    bcp.DestinationTableName = "SomeTable"; 
    bcp.WriteToServer(reader); 
} 

Tenga en cuenta que ObjectReader también pueden trabajar con no fuentes genéricas, y no es necesario especificar los nombres de los miembros de antemano (aunque es probable que desee utilizar el aspecto ColumnMappings de si no los especifica en el propio ObjectReader).

Answer 3

En primer lugar, dependiendo de lo que esté intentando lograr llamando al SqlBulkCopy, podría tener más sentido utilizar un parámetro con valores de tabla (TVP). Usar un TVP haría que sea trivial enviar una colección de cualquier tipo personalizado. Los datos se pueden transmitir para que pueda evitar el DataTable (muy parecido a la respuesta de @Marc Gravell) y también puede evitar SqlBulkCopy. Los TVP permiten una flexibilidad total de cómo manejar los datos una vez que llegan a SQL Server cuando usted llama a un procedimiento almacenado para pasar los datos de TVP y aparece como una variable de tabla con la que puede hacer cualquier cosa, no solo INSERT (que es caso con SqlBulkCopy). También puede recuperar datos a través de SqlDataReader, datos como los valores IDENTITY recién creados. Agregué un ejemplo y algunas notas adicionales sobre esta respuesta: How can I insert 10 million records in the shortest time possible?. Y hace varios años escribí un artículo sobre SQL Server Central (se requiere registro gratuito), Streaming Data Into SQL Server 2008 From an Application, que también se menciona en esa respuesta vinculada, proporcionando un ejemplo práctico de pasar en una lista genérica de un tipo personalizado, transmitido desde 3 millones archivo de texto de fila.

Answer 4

tarde a la fiesta, pero si se agrega esta clase EntityDataReader de Microsoft, hay un método AsDataReader() extensión que hace exactamente eso: https://github.com/matthewschrager/Repository/blob/master/Repository.EntityFramework/EntityDataReader.cs

(ejemplo [List].AsDataReader() aplicación :)

var connStr = ""; 
using (var connection = new SqlConnection(connStr)) 
{ 
    var startTime = DateTime.Now; 
    connection.Open(); 
    var transaction = connection.BeginTransaction(); 
    try 
    { 
     //var connStr = connection.ConnectionString; 
     using (var sbCopy = new SqlBulkCopy(connection, SqlBulkCopyOptions.Default, transaction)) 
     { 
      sbCopy.BulkCopyTimeout = 0; 
      sbCopy.BatchSize = 10000; 
      sbCopy.DestinationTableName = "Foobars"; 
      var reader = Foobars.AsDataReader(); 
      sbCopy.WriteToServer(reader); 
     } 
     transaction.Commit(); 
    } 
    catch (Exception ex) 
    { 
     Console.WriteLine(ex.Message); 
     transaction.Rollback(); 
    } 
    finally 
    { 
     transaction.Dispose(); 
     connection.Close(); 
     var endTime = DateTime.Now; 
     Console.WriteLine("Upload time elapsed: {0} seconds", (endTime - startTime).TotalSeconds); 
    } 
}