Cómo recorrer los archivos de Excel y cargarlos en una base de datos utilizando el paquete SSIS?

Question

Necesito crear un paquete SSIS para importar datos desde múltiples archivos de Excel en una base de datos SQL. Planeo usar contenedores anidados de Foreach Loop para lograr esto. Un enumerador de archivos Foreach y anidado dentro de ese, Foreach ADO.net Schema Rowset Enumerator

Problema a tener en cuenta: los nombres de las hojas son diferentes entre los archivos de Excel, pero la estructura sigue siendo la misma.

He creado un administrador de conexión de Excel, pero el conjunto de filas de esquema enumerador no está aceptando el administrador de conexión en la configuración enumerador.

Después de investigar, descubrí que se puede utilizar el proveedor Jet OLE DB para conectarse a un archivo de Excel. Sin embargo, solo puedo especificar archivos de base de datos de Microsoft Access como fuente de datos. Intentar insertar un archivo de Excel como origen de datos no

Después de más investigación he encontrado que se puede utilizar el proveedor de datos ODBC con una cadena de conexión en lugar de un DSN. Después de insertar una cadena de conexión que especifica el archivo de Excel, esto también falló

Me han dicho que no use una tarea de secuencia de comandos para lograr esto e incluso después de intentar un último esfuerzo para extraer datos de las hojas accediendo a las hojas por índice que encontré que el índice de las hojas en los diferentes archivos de Excel son diferentes

cualquier ayuda sería muy apreciada

Answer 1

Aquí es una forma posible de hacer esto en base a la suposición de que no habrá ninguna hoja en blanco en el Excel archivos y también todas las hojas siguen la misma estructura exacta. Además, bajo el supuesto de que la extensión del archivo es solamente .xlsx

Siguiendo el ejemplo se ha creado usando SSIS 2008 R2 y Excel 2007. La carpeta de trabajo para este ejemplo es F:\Temp\

En la ruta de la carpeta F:\Temp\, cree un archivo de hoja de cálculo de Excel 2007 llamado States_1.xlsx con dos hojas de cálculo.

Sheet 1 de States_1.xlsx contenían los siguientes datos

Sheet 2 de States_1.xlsx contenía los siguientes datos

En la ruta de la carpeta F:\Temp\, crear otro archivo de hoja de cálculo Excel 2007 nombrado States_2.xlsx con dos hojas de trabajo.

Sheet 1 de States_2.xlsx contenían los siguientes datos

Sheet 2 de States_2.xlsx contenía los siguientes datos

Crear una tabla en SQL Server denominado dbo.Destination mediante el siguiente script de creación. Los datos de la hoja de Excel se insertarán en esta tabla.

CREATE TABLE [dbo].[Destination](
    [Id] [int] IDENTITY(1,1) NOT NULL, 
    [State] [nvarchar](255) NULL, 
    [Country] [nvarchar](255) NULL, 
    [FilePath] [nvarchar](255) NULL, 
    [SheetName] [nvarchar](255) NULL, 
CONSTRAINT [PK_Destination] PRIMARY KEY CLUSTERED ([Id] ASC)) ON [PRIMARY] 
GO 

La tabla está actualmente vacía.

Cree un nuevo paquete de SSIS y en el paquete, cree los siguientes 4 variables. FolderPath contendrá la carpeta donde se almacenan los archivos de Excel. FilePattern contendrá la extensión de los archivos que se enlazarán y este ejemplo solo funciona para .xlsx. Se asignará a FilePath un valor en el contenedor Foreach Loop, pero necesitamos una ruta válida para comenzar con el tiempo de diseño y actualmente se rellena con la ruta F:\Temp\States_1.xlsx del primer archivo de Excel. El Nombre de la hoja contendrá el nombre de la hoja real, pero necesitamos rellenarlo con el valor inicial Sheet1$ para evitar el error de tiempo de diseño.

En administrador de conexión del paquete, cree una conexión ADO.NET con la siguiente configuración y el nombre como ExcelSchema.

Seleccione el proveedor Microsoft Office 12.0 Access Database Engine OLE DB Provider en .Net Proveedores para OleDb. Proporcionar la ruta del archivo F:\Temp\States_1.xlsx

Haga clic en la sección All en el lado izquierdo y establecer las propiedades de propiedad extendido a Excel 12.0 para denotar la versión de Excel. Aquí en este caso 12.0 denota Excel 2007. Haga clic en Probar conexión para asegurarse de que la conexión tenga éxito.

Crear un administrador de conexión de Excel denominado Excel como se muestra a continuación.

Crear una conexión OLE DB de SQL Server denominado SQLServer. Entonces, deberíamos tener tres conexiones en el paquete como se muestra a continuación.

que tenemos que hacer los siguientes cambios de cadena de conexión para que el archivo de Excel se cambia dinámicamente a medida que los archivos se enlazan a través.

En la conexión ExcelSchema, configure la expresión ServerName utilizar la variable FilePath. Haga clic en el botón de puntos suspensivos para configurar la expresión.

Del mismo modo en la conexión Excel, configurar la expresión ServerName utilizar la variable FilePath. Haga clic en el botón de puntos suspensivos para configurar la expresión.

En el flujo de control, coloque dos contenedores de bucles Foreach uno dentro del otro. Los primeros Foreach Loop container archivos Loop con nombre recorrerán los archivos. El segundo Foreach Loop container pasará por las hojas dentro del contenedor. En el interior Para cada contenedor de bucle, colocar una tarea Flujo de datos que se va a leer los archivos de Excel y cargar datos en SQL

Configurar el primer contenedor de bucle Foreach llamado ficheros de bucle como se muestra a continuación:

Configurar el primer contenedor de bucle Foreach llamado hojas Loop como se muestra a continuación:

Dentro de la tarea de flujo de datos, coloque una columna de Excel Fuente, derivados y de Destino de OLE DB como se muestra a continuación:

Configure el origen de Excel para leer el archivo de Excel apropiado y la hoja que se está bucleando actualmente .

Configurar la columna derivada para crear nuevas columnas de nombre de archivo y nombre de la hoja. Esto es solo para demostrar este ejemplo, pero no tiene importancia.

Configurar el destino de OLE DB para insertar los datos en la tabla de SQL.

A continuación pantalla muestra una ejecución exitosa del paquete.

A continuación pantalla muestra que los datos de los 4 libros de trabajo en 2 hojas de cálculo de Excel que estaban creando en el comienzo de esta respuesta se ha cargado correctamente en la tabla de SQL dbo.Destination.

Espero que ayude.

Answer 2

Me encontré con un artículo que ilustra un método donde los datos de la misma hoja de Excel se pueden importar en la tabla seleccionada hasta que no haya modificaciones en excel con los tipos de datos.

Si los datos se insertan o sobrescriben con nuevos, el proceso de importación se realizará con éxito, y los datos se agregarán a la tabla en la base de datos SQL.

El artículo se puede encontrar aquí: http://www.sqlshack.com/using-ssis-packages-import-ms-excel-data-database/

espero que ayude.

Answer 3

Tuve un problema similar y descubrí que era mucho más simple deshacerse de los archivos de Excel lo antes posible. Como parte de los primeros pasos de mi paquete, utilicé Powershell para extraer los datos de los archivos de Excel en archivos CSV. Mis propios archivos de Excel eran simples pero aquí

Extract and convert all Excel worksheets into CSV files using PowerShell

es un excelente artículo de Tim Smith en la extracción de datos de múltiples archivos de Excel y/o varias hojas.

Una vez que los archivos de Excel se han convertido a CSV, la importación de datos es mucho menos complicada.