Tag: AZURE-DATA-FACTORY-PIPELINE
Sé cómo ejecutar un script de Python usando Batch Service en Azure Data Factory si el script está ubicado en un contenedor de almacenamiento de Blob. Pero necesito colocar el script en Azure File Shares y ejecutarlo usando la actividad personalizada de Batch Service.
Tengo más de 100 archivos en la ubicación de SharePoint que ingiero y proceso diariamente usando ADF y Databricks. No todos los archivos se actualizan diariamente y termino perdiendo tiempo y recursos al procesar archivos que no han cambiado. ¿Cómo puedo descargar los archivos que se han actualizado? Mi canalización . . . Read more
Tengo un archivo csv en el que tengo algunos datos de empleados con sus salarios. He creado una cuenta de almacenamiento en Azure y lo he cargado allí. En Azure Data Factory, quiero ver el resultado de aquellos cuyo salario es de 10k.
Actualmente estoy utilizando ADF para copiar un montón de archivos de FTP a una cuenta de almacenamiento de Azure. Tengo que agregar metadatos para cada archivo. He podido hacer esto agregando metadatos en la pestaña de destino. El problema es que estos metadatos son dinámicos para cada archivo y se . . . Read more
Dentro de ADF, estoy tratando de obtener el contenido predefinido de una consulta para una API GraphQL (bloque de actividad web) almacenada en un JSON en algún lugar del blob. Debido a los requisitos de velocidad, no nos podemos permitir ejecutar Databricks cada vez. ¿Qué se puede hacer para obtener . . . Read more