Creación y envío dinámico de trabajos a Flink
Hola, estoy planeando usar Flink como backend para mi función en la que mostraremos una interfaz de usuario al usuario para crear patrones de eventos de forma gráfica, por ejemplo: múltiples intentos de inicio de sesión fallidos desde la misma dirección IP.
Crearemos el patrón de Flink programáticamente utilizando los criterios proporcionados por el usuario en la interfaz de usuario.
¿Existe alguna documentación sobre cómo crear dinámicamente el archivo JAR y enviar dinámicamente el trabajo a un clúster de Flink?
¿Existe alguna mejor práctica para este tipo de caso de uso utilizando Apache Flink?
davy.ai
Sí, hay documentación sobre cómo crear dinámicamente el archivo jar y enviar dinámicamente el trabajo con él a un clúster Apache Flink. La documentación de Flink proporciona una sección sobre envío dinámico de trabajos que explica cómo empaquetar y enviar trabajos programáticamente.
En cuanto a las mejores prácticas para este tipo de caso de uso, se recomienda mantener los archivos jar livianos y modulares para mejorar el rendimiento del clúster. Además, el uso de las funciones de checkpointing y savepoints de Flink puede ayudar a garantizar la confiabilidad del trabajo y hacerlo más tolerante a fallos. Además, es importante monitorear cuidadosamente los recursos del sistema y ajustar los parámetros para optimizar el rendimiento.