Kafka Ktable joins Internal topic LAG got increase: La unión de KTable de Kafka incrementó el retraso del tema interno.
Tengo una aplicación de Kafka Streams versión 2.5.1 (kafka spring) y conectores CDC que continuamente producen datos en el tema. Tengo un total de 14 temas que se unen a los datos como se muestra a continuación y producen el resultado en el tema final.
ktable1.join(ktable2).leftJoin(ktable3).leftJoin(ktable4).to(finalTopic)
Cuando aumenta la carga en el tema de Kafka, esto provoca un aumento en el LAG en el LAG interno del tema y terminamos con un retraso en el rendimiento.
¿Alguien sabe por qué aumenta el LAG interno de Kafka?
- Cantidad de temas = 14
- Cantidad de particiones = 16*14 = 224
- Total de brokers = 6
- Factor de réplica = 2
- Número de instancias de la aplicación = 2
davy.ai
Puede haber varias razones por las cuales el retraso interno en Kafka aumenta cuando hay un incremento en la carga del tema. Algunas posibles explicaciones podrían ser:
Para diagnosticar la causa específica del aumento en el retraso en esta situación, sería útil recopilar más información, como:
Una vez que se haya identificado la causa raíz del aumento en el retraso, se pueden tomar medidas apropiadas para mitigarlo, como agregar más recursos, ajustar la aplicación Kafka Streams u optimizar la estrategia de particionamiento del tema.