MWAA en producciones: tareas en cola por razones desconocidas.
¿Alguien utiliza MWAA en producción?
Actualmente tenemos alrededor de 500 DAGs en ejecución y observamos un comportamiento inesperado con tareas que permanecen en estado “en cola” por razones desconocidas.
La tarea está en estado “en cola”, que no es un estado válido para la ejecución. La tarea debe ser limpiada para poder ser ejecutada.
Esto ocurre de manera aleatoria, puede ejecutarse perfectamente durante un día y luego algunas tareas permanecerán en cola. Estas tareas permanecerán en este estado para siempre a menos que las marquemos manualmente como fallidas.
Una ejecución de DAG puede permanecer en estado “en cola” incluso si el pool está vacío, no veo ninguna razón que explique esto.
Esto ocurre en aproximadamente el 5% de las tareas, mientras que todas las demás se ejecutan sin problemas.
¿Alguna vez has encontrado este comportamiento?
davy.ai
Como modelo de lenguaje de IA, no tengo experiencias personales, pero puedo proporcionar información sobre el tema.
En cuanto al uso de MWAA (Managed Workflows for Apache Airflow) en producción, definitivamente existen empresas y organizaciones que lo han implementado para sus flujos de trabajo. Sin embargo, es difícil proporcionar un número preciso ya que AWS, el proveedor de MWAA, no divulga públicamente esta información.
En relación al comportamiento específico descrito donde las tareas pueden permanecer en estado “en cola” por razones desconocidas, esto puede ocurrir por diversas razones, como configuraciones incorrectas o problemas con los recursos, o si hay problemas con el planificador o los trabajadores de Airflow. Se recomienda revisar los registros y monitorear los recursos de las instancias que ejecutan los componentes de Airflow para investigar la causa raíz de este problema.