Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Tengo un DAG de airflow que no quiero programar. Estoy utilizando schedule_interval: None en mi archivo dag, pero el dag sigue ejecutándose automáticamente una vez que se implementa. Versión de Airflow utilizada: 2.1.0 Adjunto captura de pantalla de Airflow. aquí Estoy utilizando el siguiente código Python en mi archivo dag. . . . Read more
Tengo una tarea en Airflow 2.1.2 que finaliza con estado de éxito, pero después en el registro muestra un sigterm: [2021-12-07 06:11:45,031] {python.py:151} INFO – Terminado. El valor devuelto fue: None [2021-12-07 06:11:45,224] {taskinstance.py:1204} INFO – Marcando tarea como SUCCESS. dag_id=DAG_ID, task_id=TASK_ID, execution_date=20211207T050000, start_date=20211207T061119, end_date=20211207T061145 [2021-12-07 06:11:45,308] {local_task_job.py:197} WARNING – . . . Read more
Tengo algunos DAGs que utilizan SnowflakeOperator y SnowflakeHook. Ambos hacen conexiones a Snowflake utilizando la entrada snowflake_connection, que he guardado en Admin > Connections en Airflow. SnowflakeHook( snowflake_conn_id="snowflake_connection", database='SOME_DB', schema='PUBLIC' ) Si bien este arreglo funciona dentro del entorno de Airflow, quiero ejecutar el código como un script regular en . . . Read more
Estoy tratando de crear múltiples dags utilizando la API de taskflow que tengan una variable pasada a ellas y que pueda ser utilizada por las tareas dentro de la dag. Por ejemplo, estoy tratando de tener este código: from airflow.decorators import dag, task from datetime import datetime @dag(schedule_interval=None, start_date=datetime(2021, 1, . . . Read more
Dado un id de ejecución DAG (por ejemplo, scheduled__2021-11-30T09:30:00+00:00), ¿Es posible encontrar el id del DAG y otros detalles del DAG y la ejecución DAG utilizando SDK de Python de Airflow?