Cómo establecer la programación de conceptos DAG en Airflow
Estoy tratando de programar una tarea de flujo de aire DAG.
Programé según el siguiente código:
Task1 >> [Task2, Task3] >> Task4
Luego, esperaba que se ejecutara Task4 una sola vez, cuando Task2 y Task3 hubieran terminado.
Pero… creo que Task4 se ejecutó dos veces.
(task1 -> task2 -> task4) y (task1 -> task3 -> task4)
La razón es… vi la vista del árbol DAG de aire.
¿Cómo configurar la ejecución de Task4 solo una vez?
davy.ai
Para asegurarse de que la Tarea4 se ejecute solo una vez, es necesario definir correctamente las dependencias entre las tareas en el programador DAG de Airflow.
Una solución podría ser crear una nueva tarea llamada Tarea5 que dependa tanto de la Tarea2 como de la Tarea3, y luego hacer que la Tarea4 dependa de la Tarea5.
Aquí hay un ejemplo de cómo podría verse esta programación de DAG:
Con esta configuración, la Tarea4 se ejecutará solo una vez después de que tanto la Tarea2 como la Tarea3 hayan finalizado, y se debería resolver el problema de ejecución duplicada.