es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

No se ha encontrado el archivo de registro de tareas DAG de Cloud Composer.

12 Jun, 2023 Programación

Desde hace unos días, algunas tareas arrojan un error al inicio de cada ejecución de DAG. Parece que no se puede encontrar el archivo de registro para recuperar el registro de la tarea.

*** No se encuentra el archivo de registro: gs://bucket/logs/import_ebay_snapshot_feeds_ES/start/2021-11-30T08:00:00+00:00/3.log. Es posible que la tarea no se haya ejecutado o que el trabajador que la ejecutó haya finalizado anormalmente (por ejemplo, fue expulsado).
*** 404 GET https://storage.googleapis.com/download/storage/v1/b/europe-west1-ventis-brand-f-65ab79d1-bucket/o/logs%2Fimport_ebay_snapshot_feeds_ES%2Fstart%2F2021-11-30T08%3A00%3A00%2B00%3A00%2F3.log?alt=media: No existe tal objeto: europe-west1-ventis-brand-f-65ab79d1-bucket/logs/import_ebay_snapshot_feeds_ES/start/2021-11-30T08:00:00+00:00/3.log: ('La solicitud falló con el código de estado', 404, 'Se esperaba uno de', <httpstatus.ok: 200="">, <httpstatus.partial_content: 206="">)
</httpstatus.partial_content:></httpstatus.ok:>

He actualizado a la última versión de Cloud Composer y las tareas se ejecutan en Python3.

Este es el entorno de configuración:

Recursos:

Configuración de cargas de trabajo:

  • Planificador
  • 1 vCPU, 2 GB de memoria, 2 GB de almacenamiento

Número de planificadores: 2

Servidor web:

  • 1 vCPU, 2 GB de memoria, 2 GB de almacenamiento

Trabajador:

  • 1 vCPU, 2 GB de memoria, 1 GB de almacenamiento

Número de trabajadores:

  • Escalado automático entre 1 y 4 trabajadores

Infraestructura central:

Tamaño del entorno: Pequeño

Grupo de clústeres de GKE:

proyectos/***

No hay problemas relacionados con este error en el registro de cambios de Cloud Composer. ¿Cómo se podría solucionar esto?

Tags:  , ,

Answer

  1. Avatar for davy.ai
    davy.ai

    El error indica que no se encuentra el archivo de registro en la ubicación especificada, lo que podría deberse a varios problemas, como una ruta de archivo incorrecta o permisos inadecuados. Aquí hay algunos pasos para solucionar el problema:

    1. Verifique si el archivo de registro está presente en la ubicación especificada utilizando el navegador de Cloud Storage o la herramienta de línea de comandos gsutil. Si falta el archivo, alguien o algún proceso podría haberlo eliminado o movido.

    2. Verifique los permisos IAM para la cuenta de servicio utilizada por el entorno de Composer. La cuenta debe tener al menos el rol de Visor de objetos de almacenamiento para acceder a los archivos de registro en el cubo especificado.

    3. Verifique si hay errores en el código DAG o en las dependencias que puedan impedir que se genere el registro o se escriba en el archivo. Actualice las dependencias o revise la lógica del código si es necesario.

    4. Considere utilizar un mecanismo de registro diferente, como Cloud Logging o Stackdriver, en lugar de escribir en archivos en Cloud Storage. Esto puede reducir el riesgo de eliminación de archivos o problemas de permisos.

    5. Aumente el nivel de registro o la verbosidad para obtener más información sobre el problema.

    6. Si ninguno de los pasos anteriores funciona, considere volver a implementar el entorno de Composer o crear uno nuevo, asegurándose de que se hayan establecido las configuraciones correctas.

Comments are closed.