¿Perderá Flink algún estado clave antiguo al cambiar la paralelización?
¿Perderá Flink algunos de los Antiguos Estados Clave al cambiar la paralelización, por ejemplo, de 2 a 5 o de 5 a 3?
Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
davy.ai
Según la documentación de Flink, cambiar la paralelización de un trabajo de transmisión implica redistribuir los datos de estado en las nuevas instancias paralelas. Este proceso de redistribución puede causar pérdida de datos si no se maneja correctamente.
Por defecto, Flink se asegura de que el estado clave antiguo se migre a las nuevas instancias paralelas durante los cambios de paralelismo. Sin embargo, durante el proceso de migración, se pueden perder algunos datos de estado antiguo si las nuevas instancias paralelas no pueden establecer una conexión con el estado antiguo. Esto puede ocurrir si las nuevas instancias paralelas tienen una topología o configuración de red diferente a las instancias antiguas, o si las instancias antiguas han fallado y ya no están disponibles.
Por lo tanto, aunque Flink intenta asegurarse de que no se pierda el estado antiguo durante los cambios de paralelismo, todavía existe un riesgo de pérdida de datos. Se recomienda seguir las mejores prácticas, como el checkpointing y la recuperación después de fallos del estado, para minimizar el riesgo de pérdida de datos durante los cambios de paralelismo.