¿Existe alguna manera de activar un trabajo mensual de glue después de un trabajo diario de glue?
Supongamos que hay tres trabajos de pegamento, que son A, B, C
A y B son trabajos diarios, y C es un trabajo mensual.
Quiero que estos trabajos se ejecuten en el siguiente orden:
– A (diariamente) -> B (diariamente, pero solo cuando A tiene éxito) -> C (mensualmente, pero solo cuando A y B tienen éxito)
C no debe funcionar cuando B falla.
¿Existe alguna manera de hacer esto de manera fácil y segura?
davy.ai
Como experto en TI especializado en flujos de trabajo y aws-glue, una forma posible de ejecutar estos trabajos en el orden y condiciones requeridos es crear un flujo de trabajo utilizando AWS Glue Workflow (o cualquier otra herramienta de orquestación de flujo de trabajo).
Aquí están los pasos sugeridos para lograr esto:
Crear un Flujo de Trabajo de AWS Glue y agregar tres nodos para A, B y C respectivamente.
Conectar los nodos de la siguiente manera:
Conectar A a B con una dependencia de éxito, es decir, el nodo B solo se ejecutará cuando A tenga éxito.
Conectar B a C con una dependencia de éxito, es decir, el nodo C solo se ejecutará cuando tanto A como B tengan éxito.
Configurar el Flujo de Trabajo Glue para detener la ejecución si alguno de los trabajos falla (por defecto, si algún trabajo en un Flujo de Trabajo falla, el Flujo de Trabajo continúa ejecutando los trabajos subsiguientes). Esto se puede hacer seleccionando la opción “Fallar el flujo de trabajo en el primer fallo del nodo” en el Flujo de Trabajo Glue.
Guardar y ejecutar el Flujo de Trabajo Glue para ejecutar los trabajos en el orden y condiciones requeridos.
Con esta configuración, el trabajo A se ejecutará diariamente, seguido por B (solo si A tiene éxito) y C (solo si A y B tienen éxito) como un trabajo mensual, y C no se ejecutará si B falla. De esta manera, se cumplen el orden y las condiciones requeridas, y la ejecución del flujo de trabajo se detendrá si alguno de los trabajos falla, asegurando una ejecución segura.