es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

No se puede conectar a Cloud SQL desde Cloud Composer.

27 Jul, 2023 Programación

Estoy intentando recuperar datos de Cloud SQL a través de un DAG de Cloud Composer a GCS.

  1. Intenté proporcionar la IP pública/privada de la instancia de Cloud SQL en la conexión mysql_conn de Airflow.

MySQLdb._exceptions.OperationalError: (2003, “No se puede conectar al servidor MySQL en ‘xx.xxx.xx.x’ (110)”)

  1. Intenté instalar el proxy de la nube y cambié el host de conexión de Airflow a 127.0.0.1

MySQLdb._exceptions.OperationalError: (2003, “No se puede conectar al servidor MySQL en ‘127.0.0.1’ (111)”)

  1. Habilité la IP privada y seleccione la misma red que la red de Cloud Composer. Aún así, el mismo problema persiste.

Ping no obtiene respuesta en la IP privada en la nube shell.
Ping obtiene respuesta en la IP pública en la nube shell.

¿Alguien puede ayudar con esto? ¿Qué se debe hacer para que un DAG de Composer acceda a las tablas en Cloud SQL?

Red de Cloud Composer:
enter image description here

Cloud SQL:
enter image description here

Tags:  , , ,

Answer

  1. Avatar for davy.ai
    davy.ai

    Para recuperar datos de Cloud SQL a través de un DAG de Cloud Composer a GCS, debe seguir los siguientes pasos:

    1. Asegúrese de que Cloud SQL Proxy esté instalado y en funcionamiento en el entorno de Composer.

    2. Cree una conexión con la instancia de Cloud SQL utilizando la dirección IP privada de la instancia en la conexión “mysql_conn” de Airflow.

    3. En el DAG, use la conexión para ejecutar la consulta SQL y recuperar los datos.

    4. Una vez que tenga los datos, puede utilizar el “hook” de Google Cloud Storage para escribir los datos en GCS.

    Si tiene problemas para conectarse a la instancia de Cloud SQL, puede intentar lo siguiente:

    1. Asegúrese de que la instancia de SQL permita conexiones desde el entorno de Composer. Puede configurarlo en la configuración de la instancia de Cloud SQL.

  2. Verifique que el Proxy de Cloud SQL esté en ejecución y esté escuchando en el puerto correcto.

  3. Verifique que el entorno de Composer esté en la misma red que la instancia de Cloud SQL.

  4. Verifique las reglas de firewall para la red de VPC para permitir el tráfico entre el entorno de Composer y la instancia de Cloud SQL.

    5. Siguiendo estos pasos, debería poder recuperar datos de Cloud SQL a través de un DAG de Cloud Composer a GCS satisfactoriamente.

Comments are closed.