Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Desplegamos GCP ComposerV2 con la versión más reciente de Airflow. Funciona perfectamente. Pero de vez en cuando, la DAG predefinida “airflow_monitoring” se bloquea. Aquí están los registros del problema: *** No se encuentra el archivo de registro: gs://********/logs/airflow_monitoring/echo/2021-12-14T12:36:55+00:00/1.log. Es posible que la tarea no se haya ejecutado o que el . . . Read more
Actualmente estoy utilizando la siguiente declaración en Apache airflow: s10_test_load = bigquery.BigQueryInsertJobOperator( task_id=”10_test_load”, configuration={ “query”: { “query”: “{% include ‘./scripts/10_test_load.sql’ %}”, “useLegacySql”: False, }, }, ) Esta declaración está funcionando correctamente y está ejecutando el SQL desde el archivo de script. Me gustaría usar dinámicamente el nombre de archivo desde . . . Read more
Necesito activar un pipeline de Data Fusion ubicado en un proyecto de GCP llamado myDataFusionProject a través de un operador Data Fusion (CloudDataFusionStartPipelineOperator) dentro de un DAG cuya instancia de Cloud Composer se encuentra en otro proyecto llamado myCloudComposerProject. He utilizado la documentación oficial y también el código fuente para . . . Read more
¿Airflow detecta automáticamente las variables modificadas que son utilizadas por los DAG ya desplegados y aplica el cambio inmediatamente, o se requiere reiniciar o refrescar manualmente el DAG para aplicar el nuevo valor de una variable modificada?
Estoy utilizando Airflow (GCP Composer) ahora. Sé que tiene un gancho (hook) para GCS y puedo descargar algunos archivos de GCS. Pero me gustaría leer un archivo parcialmente. ¿Puedo utilizar esta lógica en Python con PythonOperator en DAG? from google.cloud import storage def my_func(): client = storage.Client() bucket = client.get_bucket(“mybucket”) . . . Read more