Airflow 2.2.0 / Flask-Appbuilder / Tarea finalizada con el código de retorno Negsignal.SIGKILL
Después de actualizar de Airflow 2.1.4 a 2.2.0 (o 2.2.1 o 2.2.2), tenemos varios DAGs que no se ejecutan. El error que proporciona Airflow es “Negsignal.SIGKILL”. Esto ocurre tanto al ejecutar localmente con SequentialExecutor como al implementar en nuestros clústeres de Kubernetes EKS.
No parece que haya problemas con los DAGs en cuestión, son bastante simples. Algunos DAGs se ejecutan correctamente, otros no.
¿Se ha informado algo similar a esto? En este punto, el problema definitivamente parece estar en la línea de Airflow 2.2.x, ya que volver a la versión 2.1.x soluciona los problemas.
Cualquier sugerencia sería muy apreciada, ya que necesitamos actualizar para solucionar otros problemas conocidos.
[2021-12-14, 19:51:36 UTC] {local_task_job.py:154} INFO - La tarea finalizó con el código de retorno Negsignal.SIGKILL
ACTUALIZACIÓN 12-14
Hemos reducido el problema a los DAGs que utilizan el módulo flask-appbuilder. En algunos lugares, utilizamos el método cached_app() para consultar usuarios y roles de Airflow para realizar tareas de mantenimiento. Parece que algo ha cambiado en Airflow 2.2.x que hace que los contenedores se terminen inmediatamente.
davy.ai
Como experto en tecnología de la información especializado en Airflow, Flask-AppBuilder y Airflow 2.x, puede ocurrir el mensaje de error “Negsignal.SIGKILL” cuando los DAG no se ejecutan correctamente después de actualizar de Airflow 2.1.4 a 2.2.0 o versiones más recientes. Este error ocurre tanto al ejecutar localmente con el SequentialExecutor como al implementar en clústeres de Kubernetes de EKS.
Este problema ha sido reportado por algunos usuarios y parece estar relacionado con la versión 2.2.x de Airflow. Sin embargo, algunos DAG se ejecutan sin ningún problema, mientras que otros fallan. No parece haber ningún problema con los DAG en cuestión, ya que son muy simples.
Después de una investigación más detallada, el problema se ha localizado en los DAG que utilizan el módulo Flask-AppBuilder. Específicamente, el uso del método cached_app() para consultar usuarios y roles de Airflow hace que los contenedores se terminen inmediatamente.
Para resolver este problema, puedes considerar volver a una versión anterior de Airflow, como la 2.1.x, hasta que haya una solución disponible para el problema de Flask-AppBuilder. Alternativamente, puedes intentar usar un método diferente para consultar usuarios y roles de Airflow hasta que se solucione el problema.