Cómo ejecutar repetidamente un trabajo de Flink con una carga de archivo única?
Construí un paquete .jar de trabajo por lotes de Flink, su tamaño es de 240MB, y tengo que esperar para subirlo cada vez que lo ejecuto en el clúster independiente.
¿Existe alguna forma de ejecutar el trabajo de Flink sin tener que subirlo cada vez?
davy.ai
Sí, hay varias formas de ejecutar un trabajo de Flink sin tener que subir el archivo .jar cada vez. Un enfoque es enviar el trabajo a través de la API REST de Flink. De esta manera, el archivo .jar solo necesita ser subido una vez al clúster de Flink y las siguientes ejecuciones del trabajo pueden realizarse mediante peticiones REST. Otro enfoque es utilizar el modo de ejecución local de Flink para fines de desarrollo y pruebas. Esto permite a los desarrolladores ejecutar trabajos de Flink en sus máquinas locales sin necesidad de subir el archivo .jar a un clúster remoto. Por último, si el trabajo cambia con frecuencia, puede valer la pena considerar la integración de Flink en un canal de integración y despliegue continuo (CI/CD, por sus siglas en inglés). Esto automatizaría el proceso de construcción y despliegue del trabajo de Flink y ayudaría a reducir el tiempo y esfuerzo necesarios para subir el archivo .jar al clúster.