Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Puedo ejecutar el siguiente comando localmente, el cual copia archivos desde el cubo de otra empresa a nuestro cubo: aws s3 sync s3://client_export/other_company/pages/date={{ next_ds }} s3://dev/our_company/pages Sin embargo, al intentar ejecutar los comandos en Airflow localmente, veo el error “No se pueden encontrar las credenciales”. Esta es mi tarea (el . . . Read more
No estoy seguro de cómo llamar a un procedimiento almacenado en el operador de Airflow, por ejemplo: el procedimiento almacenado es: Call goal.dba.sp_ctrl_calendar() Mi código: from airflow.operators.postgres_operator import PostgresOperator sp_ctrl_calendar = PostgresOperator( task_id = ‘sp_ctrl_calendar’, sql = ‘goal.dba.sp_ctrl_calendar(); end;’, postgres_conn_id = ‘redshift’, autocommit = True) ¿Es este enfoque correcto?
Veo una opción como enable_component_gateway para Jupyterlabs a través del comando gcloud. Estamos creando el clúster utilizando DataprocClusterCreateOperator. Sin embargo, no veo ninguna opción en la documentación en la cual pueda habilitar esta función durante la creación del clúster.
¿Alguien utiliza MWAA en producción? Actualmente tenemos alrededor de 500 DAGs en ejecución y observamos un comportamiento inesperado con tareas que permanecen en estado “en cola” por razones desconocidas. La tarea está en estado “en cola”, que no es un estado válido para la ejecución. La tarea debe ser limpiada . . . Read more
Quiero pasar la configuración que se enviará a través de la interfaz de usuario web al parámetro notebook_task del operador DatabricksSubmitRunOperator. Sé cómo hacer esto en el operador de Python, pero no en el operador de Databricks.