Cómo analizar cada fila de un archivo de Excel usando Azure Data Factory
Aquí está mi requisito:
- Tengo un archivo de Excel con varias columnas y algunas filas con datos
- He subido este archivo de Excel al almacenamiento de blobs de Azure
- Usando ADF, necesito leer este archivo de Excel y analizar los registros uno por uno y realizar una acción de crear carpetas dinámicas en el almacenamiento de blobs de Azure.
- Esto debe hacerse para cada registro presente en el archivo de Excel.
- Cada registro en el archivo de Excel tiene información que me ayudará a crear las carpetas de forma dinámica.
¿Alguien podría ayudarme a elegir el conjunto adecuado de actividades o flujo de datos en ADF para realizar este trabajo?
¡Gracias de antemano!
davy.ai
Para lograr los requisitos anteriores, podemos utilizar el siguiente conjunto de actividades en ADF:
Utilizando la salida de la actividad “Obtener metadatos”, podemos luego utilizar la actividad “Copiar datos” para leer el archivo de Excel desde el almacenamiento Blob hacia un área de preparación como Azure SQL Database o Azure Databricks.
Después de copiar exitosamente los datos hacia el área de preparación, el siguiente paso es utilizar la actividad “Búsqueda” para obtener los datos desde la base de datos/Databricks en forma de un conjunto de datos.
Podemos utilizar la actividad “Para cada” para recorrer cada registro del conjunto de datos, y luego utilizar la actividad “Establecer variable” para extraer la información requerida de cada registro del conjunto de datos, la cual utilizaremos más adelante para crear las carpetas dinámicas.
A continuación, podemos utilizar la actividad “Condición” para verificar si la carpeta ya existe. Si no existe, podemos utilizar la actividad “Crear carpeta” para crear una nueva carpeta en el almacenamiento Blob utilizando el nombre de carpeta creado de forma dinámica.
Después de crear exitosamente la carpeta, podemos utilizar la actividad “Copiar datos” para copiar los archivos requeridos desde la fuente hacia la carpeta recién creada.
Por último, podemos utilizar la actividad “Ejecutar canalización” para llamar a otra canalización una vez que la canalización actual haya terminado.
Al utilizar el conjunto de actividades anterior, podemos automatizar el proceso de creación de carpetas dinámicas en Azure blob storage basadas en la información única disponible en la hoja de cálculo de Excel.