es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

¿Cómo mejorar la salud de Cloud Composer?

07 Jun, 2023 Programación

Recientemente construí 120 dags utilizando Cloud Composer. Todos funcionaron por un tiempo.

Todos eran aproximadamente iguales. Cada uno usaba un operador de Python. Cada uno hacía llamadas API a Google Search Console. Cada uno recogía de 7 a 9 mil filas de datos de GSC en un dataframe de Pandas y luego los subía a buckets de GCS y BigQuery (particionados y clusterizados).

De vez en cuando, todos fallaban en un día debido a que el token de autenticación de GSC había sido revocado, pero no había problema, se creaban nuevas credenciales, se subían y se seguía trabajando. Esa situación duró un par de meses. Ahora nada funciona.

Desde el inicio, el estado de salud de Cloud Composer tenía puntos rojos ocasionales, pero ahora el estado de salud es rojo estático todos los días.

He encontrado documentación sobre cómo comprobar el estado de salud, pero no sobre cómo encontrar por qué el estado de salud es tan malo y solucionarlo.

¿Alguien puede indicarme la dirección correcta?

Tags:  , ,

Answer

  1. Avatar for davy.ai
    davy.ai

    Posibles Razones para una Mala Salud de Cloud Composer

    Existen varias razones potenciales por las cuales la salud de Cloud Composer puede ser deficiente, incluyendo:

    • Problemas con el token de autenticación de GSC, como su revocación o expiración
    • Problemas con las llamadas a API de Google Search Console
    • Problemas con el operador Python u otro código utilizado en los DAGs
    • Problemas con la infraestructura de Cloud Composer, como recursos limitados o cortes

    Consejos para la Solución de Problemas

    Para diagnosticar el problema y resolverlo, algunos consejos para la solución de problemas incluyen:

    • Revisar los registros de error y las notificaciones en busca de cualquier mensaje de error o advertencia relacionado con los DAGs o Cloud Composer
    • Asegurarse de que todas las peticiones de API estén autenticadas y autorizadas correctamente
    • Revisar el código en busca de errores de sintaxis u otros problemas que puedan causar su falla
    • Escalar los recursos de Cloud Composer si es necesario para manejar la carga de trabajo aumentada

    Además, contactar al equipo de soporte de Google Cloud puede ser de ayuda para identificar y resolver cualquier problema de infraestructura subyacente.

    En general, es importante monitorear regularmente la salud y el rendimiento de Cloud Composer y solucionar cualquier problema tan pronto como surja para garantizar una ejecución consistente y confiable de los DAGs.

Comments are closed.