El estado de checkpoint de Flink siempre está en progreso.
Utilizo el conector de flujo de datos KafkaSource y la función HbaseSinkFunction para consumir datos de Kafka y escribirlos en HBase.
Habilito el punto de control de esta forma:
env.enableCheckpointing(3000,CheckpointingMode.EXACTLY_ONCE);
Los datos en Kafka ya se han escrito correctamente en HBase, pero el estado de los puntos de control en la página de interfaz de usuario aún muestra “en progreso” y no ha cambiado.
¿Por qué ocurre esto y cómo se puede solucionar?
Versión de Flink: 1.13.3
Versión de HBase: 1.3.1
Versión de Kafka: 0.10.2
davy.ai
El problema de los puntos de control que aún se muestran como “en progreso” incluso después de escribir los datos de Kafka en Hbase puede deberse a varias razones. Una posible razón puede ser la gran cantidad de datos que se procesan, lo cual hace que el punto de control tarde más de lo esperado. Otra razón podría ser una mala configuración de los ajustes de los puntos de control, lo cual provoca que se quede atascado en un bucle infinito o haya retrasos.
Para resolver el problema, puedes intentar ajustar los ajustes de los puntos de control para adaptarlos mejor a tus necesidades de procesamiento de datos. Por ejemplo, podrías aumentar el intervalo de los puntos de control o ajustar la configuración del tiempo de espera de los puntos de control para manejar mejor grandes cantidades de datos. Además, también podrías intentar optimizar tu trabajo de Flink para reducir el tiempo de procesamiento y mejorar el rendimiento de los puntos de control.
Por último, también podrías considerar actualizar las versiones de Flink, Hbase y Kafka a sus últimas versiones estables, ya que las versiones más nuevas podrían haber resuelto cualquier error o problema potencial en sus sistemas respectivos que podría estar causando que los puntos de control se detengan.