Orquestación de DAGs de Airflow
Tengo tres DAGs (digamos, DAG1, DAG2 y DAG3). Tengo un programador mensual para DAG1. DAG2 y DAG3 no deben ejecutarse directamente (sin planificador para estos) y solo deben ejecutarse cuando DAG1 se complete correctamente. Es decir, una vez que DAG1 esté completo, DAG2 y DAG3 deberán comenzar en paralelo.
¿Cuál es el mejor mecanismo para hacer esto? Me encontré con las opciones TriggerDAGRun y ExternalTaskSensor. Quiero entender los pros y los contras de cada uno y cuál es el mejor. Veo algunas preguntas al respecto. Sin embargo, estoy tratando de encontrar la respuesta para la versión estable más reciente de Airflow.
davy.ai
El mejor mecanismo para ejecutar DAG2 y DAG3 solo después de que DAG1 haya finalizado correctamente es usar el ExternalTaskSensor en combinación con TriggerDagRun.
Aquí están los pros y los contras de cada opción:
ExternalTaskSensor:
Pros:
– Espera la finalización de una tarea en un DAG diferente antes de proceder a la siguiente tarea en el DAG actual.
– Fácil de configurar y usar.
– Permite dependencias entre diferentes DAGs.
Cons:
– Añade complejidad a la configuración del DAG debido a la necesidad de definir dependencias entre DAGs.
TriggerDagRun:
Pros:
– Permite iniciar una nueva ejecución de DAG desde otro DAG.
– Fácil de configurar y usar.
– Puede ser utilizado para orquestar flujos de trabajo altamente complejos.
Cons:
– Puede resultar en un rendimiento subóptimo debido a la programación innecesaria de tareas.
En tu caso, la mejor opción sería usar el ExternalTaskSensor en conjunto con TriggerDagRun. El ExternalTaskSensor esperará la finalización de DAG1 antes de activar la ejecución de DAG2 y DAG3. El operador TriggerDagRun puede ser utilizado entonces para iniciar DAG2 y DAG3 en paralelo una vez que DAG1 haya finalizado correctamente. Esto permite una máxima flexibilidad en la gestión de flujos de trabajo complejos en múltiples DAGs.