Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Tengo una base de datos de origen SQL Server instalada en la instancia VM de Azure, y quiero sincronizar los datos con Bigquery. He elegido Apache Airflow para crear un DAG que realice este trabajo. El sistema de origen solo se puede conectar a través de la red VPN. Conecté . . . Read more
Estoy intentando crear carpetas y escribir archivos en la carpeta “dags” que se encuentra en un bucket de Google Cloud Storage. Esto lo hago utilizando Airflow con el siguiente código Python: Path(‘/home/airflow/gcs/dags/API/config’).mkdir(parents=True, exist_ok=True) with open(file=’/home/airflow/gcs/dags/API/config/config.json’, mode= ‘w’) as out_file: out_file.write(json_string) No se genera ningún error y sin embargo no se . . . Read more
En nuestro proyecto, estamos utilizando la clase DataprocClusterCreateOperator que se encuentra en contrib from airflow.contrib.operators import dataproc_operator. Funciona correctamente con la versión de Airflow 1.10.14. Estamos en el proceso de actualización a Airflow 2.1.2 y, al probar nuestros DAGs que requieren la creación de un clúster DataProc, encontramos el siguiente . . . Read more
Tengo un DAG que quiero lanzar en Composer con algunos parámetros. No puedo usar Variables Globales de Airflow, ya que quiero lanzar el mismo DAG con diferentes “Contextos”. Mis parámetros representan este contexto. Gracias por la ayuda.
Estoy tratando de ejecutar un contenedor con Cloud Run como una tarea de una DAG de Airflow. Parece que no hay cosas como un CloudRunOperator o similar y no puedo encontrar nada en la documentación (tanto de Cloud Run como de Airflow). ¿Alguien ha lidiado alguna vez con este problema? . . . Read more