Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
¿Alguien utiliza MWAA en producción? Actualmente tenemos alrededor de 500 DAGs en ejecución y observamos un comportamiento inesperado con tareas que permanecen en estado “en cola” por razones desconocidas. La tarea está en estado “en cola”, que no es un estado válido para la ejecución. La tarea debe ser limpiada . . . Read more
Quiero truncar mi tabla de Redshift antes de cargar un archivo CSV en la tabla de Redshift. Error: airflow.exceptions.AirflowException: Se pasaron argumentos no válidos a S3ToRedshiftOperator (task_id: dag_runs3_to_redshift). Los argumentos no válidos fueron: **kwargs: {‘method’: ‘REPLACE’} Código siguiente: task_fail_s3_to_redshift = S3ToRedshiftOperator( s3_bucket=S3_BUCKET, s3_key=”{{ti.xcom_pull(task_ids=’export_db’,key=’FILE_PATH_1′)}}”, schema=”dw_stage”, table=”task_fail”, copy_options=[‘csv’, “IGNOREHEADER 1”], redshift_conn_id=’redshift’, method=’REPLACE’, . . . Read more
Estoy en Airflow 2.1.4 y estoy tratando de modificar un sensor personalizado para que actúe como un “Sensor Inteligente”. Entre otras cosas, para permitir que un sensor personalizado funcione como un Sensor Inteligente, necesitas proporcionarle una variable de clase “poke_context_fields”. Esto no está muy bien documentado, pero creo que es . . . Read more
Versión de Airflow 2.0.2 Tengo tres programadores ejecutándose en un clúster de Kubernetes con el executor CeleryExecutor y una base de datos postgres. Todo parece funcionar correctamente durante un par de semanas, pero luego el programador de Airflow deja de programar algunas tareas. He realizado un “airflow db reset” seguido . . . Read more
Tengo un DAG que debe programarse para ejecutarse en días laborables (de lunes a viernes) entre las 9AM y las 4PM cada 10 minutos. ¿Cómo puedo hacer esto en Airflow?