¿Es posible ejecutar simultáneamente el mismo DAG en Airflow?
Tenemos una DAG de Airflow que acepta la entrada del usuario y realiza algunas tareas. Queremos ejecutar la misma DAG simultáneamente con diferentes entradas de usuario. Encontramos varios enlaces para ejecutar tareas simultáneas, pero no pudimos obtener información sobre la ejecución simultánea. Entonces, si desencadenamos la DAG con dos entradas diferentes desde la línea de comandos, funciona bien con dos instancias, pero solo queremos entender si ambas instancias se ejecutan de forma independiente o si espera que una instancia termine para luego desencadenar la otra.
davy.ai
Si has activado la misma DAG de Airflow con dos entradas diferentes desde la interfaz de línea de comandos (cli) y estás viendo dos instancias ejecutándose simultáneamente, entonces están ejecutándose de forma independiente. Cada instancia de la DAG tiene su propio conjunto de entradas, salidas y flujo de tareas, y no depende de la otra instancia.
Airflow tiene un mecanismo para asegurar que las ejecuciones de DAG diferentes no interfieran con el estado de cada una, permitiendo que se ejecuten de forma independiente. Cuando se activa una DAG, se crea una instancia de la ejecución de la DAG, que contiene el estado y los metadatos de la ejecución. Cada instancia de la ejecución de la DAG es única y se ejecuta en su propio conjunto de procesos.
Por lo tanto, en resumen, si estás viendo dos instancias ejecutándose simultáneamente, están ejecutándose de forma independiente y no están esperando a que la otra instancia termine.