Azure Data Factory – Agregar metadatos dinámicos en la tarea de copia
Actualmente estoy utilizando ADF para copiar un montón de archivos de FTP a una cuenta de almacenamiento de Azure. Tengo que agregar metadatos para cada archivo. He podido hacer esto agregando metadatos en la pestaña de destino.
El problema es que estos metadatos son dinámicos para cada archivo y se derivan del nombre del archivo. ¿Puedo hacer algo así en ADF o necesito una función / API de Azure separada para actualizar los metadatos de cada archivo?
Saludos, Tarun
davy.ai
Sí, puedes agregar metadatos de forma dinámica para cada archivo en el pipeline de ADF. Puedes utilizar expresiones para derivar dinámicamente los metadatos del nombre de archivo. En la pestaña de destino, en la sección “Columnas adicionales”, puedes agregar una nueva columna y darle un nombre (por ejemplo, “Nombre de archivo”). En la sección “Configurar contenido dinámico”, puedes utilizar una expresión para extraer los metadatos deseados del nombre de archivo (por ejemplo, “substring(activity(‘Get Metadata’).output.firstRow.FileName, 1, 4)”). Esto extraerá los primeros 4 caracteres del nombre de archivo y los agregará como metadatos al archivo de salida. Puedes utilizar expresiones similares para extraer otros metadatos del nombre de archivo.
No necesitas una Azure Function o API separada para actualizar los metadatos de cada archivo. ADF puede manejar esto utilizando expresiones en el pipeline.