Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Como no puedo usar la línea de comandos de Airflow, en realidad estoy analizando los registros del planificador con grep en airflow1 para recuperar algunas informaciones tales como: comprobar si el DAG es activado o no / si tiene éxito o no / marca horaria de inicio con el patrón . . . Read more
Tengo una situación en la que mis datos se encuentran en un proyecto de GCP diferente llamado “data-pro” y mi proyecto de cálculo está configurado como un proyecto de GCP diferente, el cual tiene acceso a las tablas de “data-pro”. ¿Existe alguna manera de especificar el ID de proyecto predeterminado . . . Read more
Estoy usando una máquina Windows y he creado un contenedor para Airflow. Puedo leer datos en el sistema de archivos local a través del DAG, pero no puedo escribir datos en un archivo. También he intentado proporcionar una ruta completa e intentado con diferentes operadores: Python y Bash, pero aún . . . Read more
Tengo un montón de operadores personalizados y quería intentar hacer uso de XcomArg y usar .output en mis tareas. Por ejemplo, abajo comenté el xcom_push para regresar la lista: def execute(self, context): #context["ti"].xcom_push(key="extract_list", value=extract_list) return extract_list El problema es que mi clave ha sido históricamente “extract_list” y tengo algunas referencias . . . Read more
Estoy intentando mover un flujo de trabajo controlado y monitoreado ad hoc a Airflow 2. El flujo de trabajo consta de múltiples pasos, un caso de uso bastante típico, con una única excepción: un paso es un trabajo que puede durar mucho tiempo. Este trabajo puede tomar desde unos pocos . . . Read more