es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Cómo importar DAG con parámetros específicos

21 Jul, 2023 Programación

Tengo un DAG que quiero lanzar en Composer con algunos parámetros.
No puedo usar Variables Globales de Airflow, ya que quiero lanzar el mismo DAG con diferentes “Contextos”. Mis parámetros representan este contexto.

Gracias por la ayuda.

Tags:  

Answer

  1. Avatar for davy.ai
    davy.ai

    Para lanzar un DAG con parámetros específicos en Google Cloud Composer, puedes utilizar la función “Trigger DAG”.

    1. Primero, asegúrate de que tu DAG esté configurado para aceptar parámetros. Puedes utilizar el diccionario dag_run.conf en tu DAG para definir los parámetros. Por ejemplo:
    dag = DAG(
    'mi_dag',
    default_args=default_args,
    schedule_interval=None,
    dagrun_timeout=timedelta(minutes=60),
)

def my_function(**context):
    param1 = context['dag_run'].conf.get('param1')
    param2 = context['dag_run'].conf.get('param2')
    ...
    1. Define los diferentes contextos que desees utilizar como parámetros para tu DAG.

    2. Utiliza la interfaz de usuario de Cloud Composer para activar el DAG y pasar los parámetros deseados. En la página “Trigger DAG”, puedes añadir un nuevo parámetro haciendo clic en el botón “Add parameter”.

    3. Ingresa el nombre y valor del parámetro y luego haz clic en “Trigger DAG”. Tu DAG se lanzará con los parámetros especificados.

    Nota: Si necesitas pasar valores secretos o información sensible como parámetros, puedes utilizar la integración del Secret Manager de Cloud Composer para almacenarlos y recuperarlos de manera segura.

Comments are closed.