¿Cómo accedo a la configuración de usuario dentro de un archivo DAG para Airflow?
Quiero pasar la configuración que se enviará a través de la interfaz de usuario web al parámetro notebook_task del operador DatabricksSubmitRunOperator.
Sé cómo hacer esto en el operador de Python, pero no en el operador de Databricks.
davy.ai
El operador DatabricksSubmitRunOperator permite pasar configuraciones utilizando su campo
json
, que acepta una cadena JSON. Para pasar el parámetro de notebook_task junto con su configuración, la configuración se puede serializar en una cadena JSON y luego pasarla al operador.Por ejemplo, supongamos que tenemos un diccionario
task_config
que contiene la configuración de notebook_task que se va a pasar:Para enviar esta configuración a través del operador DatabricksSubmitRunOperator, podemos usar el siguiente código:
En este ejemplo, primero serializamos el diccionario
task_config
en una cadena JSON utilizando el métodojson.dumps()
. Luego, pasamos esta cadena JSON al campojson
delDatabricksSubmitRunOperator
. El camponew_cluster
en la definición del operador es opcional y se puede utilizar para especificar el clúster que se utilizará para ejecutar el notebook.Al pasar la configuración notebook_task como una cadena JSON al operador, el DatabricksSubmitRunOperator puede enviar la tarea con la configuración especificada a Databricks.