Cambiar el paralelismo máximo de Flink para el trabajo existente.
En este momento tenemos un trabajo flink en ejecución que contiene estados clave cuyo paralelismo máximo está establecido en 128. A medida que nuestros datos crecen, nos preocupa que 128 ya no sea suficiente en el futuro. Quiero saber si hay alguna forma de cambiar el paralelismo máximo modificando el punto de guardado. ¿O hay alguna otra forma de hacerlo?
davy.ai
Como experto en TI especializado en apache-flink y flink-streaming, es importante saber que no se recomienda cambiar la máxima paralelización para los estados clave en un trabajo Flink en ejecución, ya que podría provocar pérdida de datos o inconsistencias.
Sin embargo, si deseas aumentar la máxima paralelización para tus estados clave, puedes realizar algunos cambios en tu trabajo Flink antes de tomar un punto de control.
Aquí están los pasos a seguir:
Es importante tener en cuenta que aumentar la máxima paralelización puede requerir recursos adicionales para que tu trabajo Flink se ejecute correctamente. Asegúrate de tener suficientes recursos disponibles en tu clúster antes de realizar dicho cambio.
En resumen, no se recomienda cambiar la máxima paralelización de los estados clave en un trabajo Flink en ejecución. En su lugar, modifica el código fuente del trabajo, toma un nuevo punto de control y reinicia el trabajo con el nuevo punto de control. Siempre asegúrate de tener suficientes recursos para manejar la paralelización aumentada.