es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

El servidor web de Airflow ha finalizado debido a la señal 11.

17 Jun, 2023 Programación

Estoy intentando iniciar el servidor web de Airflow con una aplicación existente y la última versión (2.2.2). El executor está configurado como LocalExecutor, el datastore es Postgres, Python v3.9. Al iniciarse, lanza 4 workers que mueren rápidamente. Luego, continúa girando sin parar tratando de reiniciarlos.

Aquí hay un ejemplo de los mensajes que muestran que un worker se inicia y muere con la señal 11 (violación de segmento). Todo esto ocurre dentro de un segundo después del inicio.

Usando worker: sync
[2021-11-30 17:29:31 -0500] [12529] [INFO] Booting worker with pid: 12529
[2021-11-30 17:29:31 -0500] [12530] [INFO] Booting worker with pid: 12530
[2021-11-30 17:29:31 -0500] [12531] [INFO] Booting worker with pid: 12531
[2021-11-30 17:29:31 -0500] [12532] [INFO] Booting worker with pid: 12532
Running the Gunicorn Server with:
Workers: 4 sync
Host: 0.0.0.0:8080
Timeout: 120

settings.prepare_engine_args(): Using pool settings. pool_size=5, max_overflow=10, pool_recycle=1800, pid=12529

[WARNING] El worker con pid 12529 fue terminado debido a la señal 11

¿Alguna sugerencia sobre cómo depurar estos workers?

Tags:  , , ,

Answer

  1. Avatar for davy.ai
    davy.ai

    Para depurar los trabajadores en Airflow, puede seguir los siguientes pasos:

    1. Habilitar el registro de depuración en el archivo airflow.cfg estableciendo el parámetro ‘logging_level’ en ‘DEBUG’ o ‘INFO’.

    2. Verificar los registros de Airflow en busca de mensajes de error relacionados con los trabajadores. Puede encontrar los registros en la ubicación especificada por el parámetro ‘log_dir’ en el archivo airflow.cfg.

    3. Intente ejecutar un solo trabajador con el comando “airflow worker”. Esto lo ayudará a aislar el problema a un trabajador específico.

    4. Verifique la compatibilidad de versión entre Airflow, sus dependencias como su base de datos, python y cualquier otro componente requerido.

    5. Realice una verificación de salud de su Postgres, como recursos disponibles, cualquier configuración o errores de red o firewall, etc.

    6. Consulte la documentación de Airflow y la página del foro para actualizaciones recientes, informes de errores y posibles soluciones específicas para su configuración del entorno.

    7. Para descartar problemas específicos de la máquina, pruebe Airflow en otro ambiente de desarrollo o prueba para ver si es un problema con la máquina local.

    Siguiendo los pasos anteriores, debería poder aislar el problema con los trabajadores y proceder con los siguientes pasos.

Comments are closed.