Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
En nuestro proyecto, estamos utilizando la clase DataprocClusterCreateOperator que se encuentra en contrib from airflow.contrib.operators import dataproc_operator. Funciona correctamente con la versión de Airflow 1.10.14. Estamos en el proceso de actualización a Airflow 2.1.2 y, al probar nuestros DAGs que requieren la creación de un clúster DataProc, encontramos el siguiente . . . Read more
Estoy utilizando Google Cloud Composer 1.17.7 con Airflow 2.1.4. Principalmente, estoy siguiendo estos documentos. He creado un secreto de Kubernetes que se ve así: apiVersion: v1 data: KEY1: valorcodificadoenbase64-1 KEY2: valorcodificadoenbase64-2 KEY3: valorcodificadoenbase64-3 … KEYN: valorcodificadoenbase64-N kind: Secret metadata: creationTimestamp: “2021-12-13T12:58:03Z” name: airflow-secrets namespace: default resourceVersion: “” uid: “” type: . . . Read more
Después de actualizar de Airflow 2.1.4 a 2.2.0 (o 2.2.1 o 2.2.2), tenemos varios DAGs que no se ejecutan. El error que proporciona Airflow es “Negsignal.SIGKILL”. Esto ocurre tanto al ejecutar localmente con SequentialExecutor como al implementar en nuestros clústeres de Kubernetes EKS. No parece que haya problemas con los . . . Read more
Desplegamos GCP ComposerV2 con la versión más reciente de Airflow. Funciona perfectamente. Pero de vez en cuando, la DAG predefinida “airflow_monitoring” se bloquea. Aquí están los registros del problema: *** No se encuentra el archivo de registro: gs://********/logs/airflow_monitoring/echo/2021-12-14T12:36:55+00:00/1.log. Es posible que la tarea no se haya ejecutado o que el . . . Read more
Usando Airflow 2.0.2, estoy tratando de usar la API de Airflow para activar ejecuciones de DAG. Cuando ejecuto un simple GET como curl -X GET –user “fooUser:passw0rd” “${ENDPOINT_URL}/api/v1/pools” Obtengo los resultados esperados: { “pools”: [ { “name”: “default_pool”, “occupied_slots”: 0, “open_slots”: 128, “queued_slots”: 0, “running_slots”: 0, “slots”: 128 } ], . . . Read more