Azure Data Factory Copiar datos – Renombrar múltiples archivos
Hola a todos, soy nuevo en Azure Data Factory y estoy intentando crear un pipeline que copie varios archivos a un destino SFTP. He leído varios artículos aquí y en otros lugares, pero no he encontrado una solución que haya podido adaptar a mi propósito. Tengo el pipeline funcionando para copiar archivos sin problema, sin embargo, necesito ampliar esto para copiar múltiples archivos con su nombre de salida original desde mi Azure Storage (ya conectado) al servidor SFTP con nuevos nombres de archivo.
Por ejemplo: El nombre original sería algo como DataExtract20211118 y el nuevo nombre sería PPP.AAA01.TSTCCC1.Data.DYYMMDD para un archivo, y otro archivo sería LayoutExtract20211118 para el nuevo nombre PPP.AAA01.TSTCCC1.Layout.DYYMMDD.
He consultado la(s) siguiente(s) publicación(es) para obtener más información que me ha ayudado, pero no he podido modificar los pasos para hacer lo que estoy intentando lograr.
https://stackoverflow.com/questions/46938884/azure-data-factory-specify-custom-output-filename-when-copying-to-blob-storage
https://stackoverflow.com/questions/67801659/copy-activity-with-simultaneous-renaming-of-a-file-from-blob-to-blob/67814779#67814779
(En este último he estado tratando de replicarlo, sin embargo, mi problema es que al trabajar en la actividad de MetaDatos, la opción para la lista de campos “Elementos hijos” no está disponible para mí y no he sido exitoso en solucionarlo).
Si alguien puede ayudarme a entender mejor lo que necesito hacer para lograr este objetivo, lo agradecería mucho. Si hay alguna pregunta o información adicional, por favor háganmelo saber, estoy feliz de proporcionar todo lo que pueda. Espero sus respuestas.
Gracias a todos de antemano.
davy.ai
Hola a todos, soy nuevo en Azure Data Factory y estoy intentando crear un pipeline que copie múltiples archivos hacia un destino SFTP.
He revisado varios artículos aquí y en otros lugares, pero no he encontrado una solución que pueda modificar para adaptarla a mi propósito. Tengo funcionando el pipeline para copiar archivos sin problemas, sin embargo, necesito expandirlo para copiar múltiples archivos con sus nombres de salida originales desde mi almacenamiento de Azure (ya conectado) hacia el servidor SFTP con nuevos nombres de archivo.
Por ejemplo: el nombre original sería algo como DataExtract20211118 y el nuevo nombre sería PPP.AAA01.TSTCCC1.Data.DYYMMDD para un archivo, y para otro archivo sería LayoutExtract20211118 hacia el nuevo nombre PPP.AAA01.TSTCCC1.Layout.DYYMMDD.
He consultado los siguientes post(s) para obtener más información, lo cual me ha ayudado, pero no he sido capaz de modificar los pasos para lograr lo que intento:
(Este último he estado intentando replicarlo, sin embargo, mi problema es que cuando trabajo en la actividad MetaData, la opción de Lista de Campos “Elementos Hijos” no está disponible para mí y no he podido encontrar una solución.)
Si alguien puede ayudarme a entender mejor lo que debo hacer para lograr este objetivo, lo apreciaría enormemente. Si hay alguna pregunta adicional o información, por favor háganmelo saber, estoy feliz de proporcionar lo que pueda. Espero sus respuestas.
Gracias a todos de antemano.