Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Estoy tratando de crear un entorno de Cloud Composer con un paquete PyPI de un repositorio privado utilizando Terraform. Cloud Composer admite repositorios privados de PyPI. Sin embargo, la configuración de un repositorio privado requiere un cubo de Composer existente. Cuando uso Terraform para crear un entorno, el cubo y . . . Read more
Estoy intentando conectarme a una base de datos oracle con un trabajo de python en GCP airflow. Aunque lo intenté tanto con OracleOperator como con OracleHook, siempre obtengo el mismo error. Puedes ver el error y mi código a continuación. ¿Cómo puedo resolver este error en GCP Cloud Composer? Ten . . . Read more
Estoy utilizando GCP Composer (que se ejecuta en GKE) para ejecutar algunos Flow de Airflow, pero los dags de RDS están agotando el tiempo de espera. Ya he realizado algunas configuraciones de red como VPC, DNS y reglas de firewall según recomienda la documentación de Composer, y la conexión funciona, . . . Read more
El operador BigQueryOperator no hace la detección automática. El nombre de la columna se convierte en string_field_*. Cuando lo ejecuto en la consola de Bigquery, funciona, pero cuando intento ejecutarlo en Cloud Composer, no funciona. python load_events = gcs_to_bq.GoogleCloudStorageToBigQueryOperator( task_id=’load_events’, bucket=’*****’, write_disposition=’WRITE_TRUNCATE’, source_objects=[‘****.csv’], destination_project_dataset_table=’****.****’, source_format=’CSV’, autodetect=True ) ¿Por favor, dime . . . Read more
Estoy intentando recuperar datos de Cloud SQL a través de un DAG de Cloud Composer a GCS. Intenté proporcionar la IP pública/privada de la instancia de Cloud SQL en la conexión mysql_conn de Airflow. MySQLdb._exceptions.OperationalError: (2003, “No se puede conectar al servidor MySQL en ‘xx.xxx.xx.x’ (110)”) Intenté instalar el proxy . . . Read more