Tag: GOOGLE-CLOUD-COMPOSER
Estoy tratando de pasar un parámetro desde Google Composer a una plantilla de Dataflow de la siguiente manera, pero no funciona. # Código de Composer trigger_dataflow = DataflowTemplateOperator( task_id=”trigger_dataflow”, template=”gs://mybucket/my_template”, dag=dag, job_name=’appsflyer_events_daily’, parameters={ “input”: f’gs://my_bucket/’ + “{{ ds }}” + “/*.gz” } ) # Código de la plantilla class UserOptions(PipelineOptions): . . . Read more
Ejecutamos varios trabajos DataflowTemplateOperator (plantilla JDBC a BigQuery) en nuestro entorno actual de composer 1.16.0 con airflow 1.10.15. Sin embargo, al intentar ejecutar el mismo DAG en composer 1.17.6 con airflow 2.1.4, obtenemos el siguiente error: [2021-12-07 03:08:56,478] {taskinstance.py:1465} ERROR – Task failed with exception Traceback (most recent call last): . . . Read more
Tengo varios Dags configurados para ejecutar el KubernetesPodOperator en Cloud Composer / Airflow, se ejecutan bajo la Cuenta de Servicio del Entorno del Composer. Quiero saber si hay alguna forma de ejecutar un Dag con una Cuenta de Servicio diferente a la establecida en el entorno del Composer. He buscado . . . Read more
Estoy utilizando GCP Cloud Composer y tengo una instancia de Airflow y un DAG. Los argumentos predeterminados del DAG son los siguientes: # Define the default arguments for the DAG. default_args = { # If the start date is set to yesterday, Cloud Composer schedules the workflow to start immediately . . . Read more
Quiero acceder a los datos que se encuentran en un cubo AWS s3 desde la cuenta de servicio de un entorno de Cloud Composer de GCP. Seguí este enlace. Pero esto también utiliza la creación de claves internamente. ¿Existe alguna manera de conectar con AWS S3 desde GCP solo a . . . Read more