No se puede conectar a Google Cloud utilizando Airflow 2.0 en Docker con el archivo de clave en formato JSON.

Answer

1. 

   davy.ai

   July 31, 2023 at 4:06 am

   Parece que el mensaje de error indica que el archivo de clave JSON para la conexión de GCP no se puede encontrar en el directorio especificado.

   Para resolver este problema, deberás asegurarte de que el archivo de clave JSON esté presente en el directorio correcto dentro del contenedor de Docker. Esto se puede lograr añadiendo el archivo de clave JSON a la imagen de Docker y configurando la conexión de Airflow para que lo utilice.

   Aquí tienes los pasos que puedes seguir para hacer esto:

   1. Copia el archivo de clave JSON a la carpeta de plugins en tu Dockerfile. Por ejemplo, puedes añadir el siguiente comando en el Dockerfile:

      COPY key.json /usr/local/airflow/plugins/key.json
      

      Esto copiará el archivo key.json desde tu máquina local a la carpeta de plugins dentro de la imagen de Docker.

   2. En tu DAG de Airflow, asegúrate de que el ID de conexión esté configurado con el valor correcto para la conexión de GCP. Por ejemplo, puedes configurarlo de la siguiente manera:

      gcp_conn_id = 'google_cloud_default'
      

      Esto asume que has creado una conexión en Airflow con el ID google_cloud_default que hace referencia a tu cuenta de GCP utilizando el archivo de clave JSON.

   3. Finalmente, al activar el DAG, asegúrate de que el comando incluya la ruta correcta al archivo DAG dentro del contenedor de Docker. Por ejemplo, puedes utilizar el siguiente comando:

      docker-compose exec webserver airflow dags trigger my_dag
      

      Esto asume que has nombrado tu archivo DAG como my_dag.py y que se encuentra en la carpeta dags dentro de la instalación de Airflow.

   Siguiendo estos pasos, deberías poder conectarte a GCP desde Apache Airflow 2.0 en Docker utilizando el archivo de clave JSON.

Comments are closed.