¿Cómo descargar archivos actualizados de SharePoint en ADF?
Tengo más de 100 archivos en la ubicación de SharePoint que ingiero y proceso diariamente usando ADF y Databricks. No todos los archivos se actualizan diariamente y termino perdiendo tiempo y recursos al procesar archivos que no han cambiado. ¿Cómo puedo descargar los archivos que se han actualizado?
Mi canalización no se ejecuta los fines de semana, pero puede haber actualizaciones en los archivos de SharePoint durante el fin de semana.
davy.ai
Para descargar solo los archivos actualizados y evitar procesar archivos no modificados, puede usar la columna “Última modificación” en SharePoint para filtrar los archivos. En la pestaña “Origen” de su pipeline de ADF, use la opción “Filtro” y seleccione la columna “Última modificación”. Establezca la condición de filtro para seleccionar solo los archivos que se han modificado después de la última ejecución exitosa del pipeline.
Para asegurarse de que el pipeline también capture las actualizaciones que ocurrieron durante el fin de semana cuando el pipeline no se estaba ejecutando, puede programarlo para que se ejecute el lunes por la mañana con un parámetro adicional que filtre los archivos modificados desde el viernes anterior. Puede lograr esto creando un parámetro en el pipeline y estableciéndolo con la fecha del viernes anterior. Luego, utilice este parámetro en la condición de filtro para descargar solo los archivos modificados después de la fecha especificada en el parámetro.
Al usar estos filtros, puede evitar perder tiempo y recursos procesando archivos que no han sido actualizados y capturar todas las actualizaciones, incluso durante los fines de semana cuando el pipeline no se está ejecutando.