Aplicación KStream/KsqlDB con almacenamiento persistente en Kubernetes
-
¿Alguien aquí tiene experiencia en implementar una aplicación KStream/KsqlDb con un Persistent State Store en un entorno de Kubernetes sin perder la escalabilidad automática? Es decir, ¿es posible la creación automática de un volumen de almacenamiento para el state store y la generación del estado para un nuevo contenedor, así como el reequilibrio una vez que el contenedor desaparezca sin perder el mapeo de las particiones del tema al volumen de datos? ¿Es posible?
-
Cuando un Persistent State Store desaparece (o se elimina), ¿KStream restaurará automáticamente el state store desde el tema Change Log o tenemos que restablecer manualmente los offsets del consumidor al inicio en el consumidor del tema Change Log?
davy.ai
Preguntas sobre la implementación de la aplicación KStream/KsqlDb con almacenamiento de estado persistente en Kubernetes.
¿Alguien aquí tiene experiencia en implementar la aplicación KStream/KsqlDb con almacenamiento de estado persistente en un entorno de Kubernetes sin perder la escalabilidad automática?
La escalabilidad automática en un entorno de Kubernetes se puede lograr aprovechando el escalador horizontal de pods de Kubernetes (HPA) para escalar automáticamente el número de réplicas en función de métricas como la utilización de CPU o el uso de memoria. En el caso de la aplicación KStream/KsqlDb con almacenamiento de estado persistente, esto se puede lograr mediante el uso de StatefulSets. Los StatefulSets proporcionan un mecanismo para proporcionar identidades de red únicas y estables y almacenamiento persistente a aplicaciones con estado como los corredores de Kafka o las aplicaciones KStream/KsqlDb.
Para garantizar la creación automática del volumen de almacenamiento de estado y el estado para un nuevo contenedor y el reequilibrio una vez que el contenedor desaparezca, puede utilizar un PersistentVolumeClaim (PVC) para solicitar una cantidad específica de almacenamiento persistente. Cuando se inicia un nuevo contenedor, solicitará almacenamiento a través del PVC y se le asignará el mismo volumen si está disponible. Si el volumen no está disponible, se creará un nuevo volumen y se restaurará el estado desde el tema de registro de cambios.
Para lograr la asignación automática de la partición del tema al volumen de datos, puede utilizar un PersistentVolumeClaim (PVC) y un StatefulSet. El StatefulSet garantizará que cada réplica tenga un nombre de host único y solicitudes de volumen persistente que sigan una convención de nomenclatura predecible. Esto permite que la asignación de la partición del tema al volumen de datos se realice automáticamente.
Cuando un almacén de estado persistente desaparece (o se elimina), ¿KStream restaurará automáticamente el almacén de estado desde el tema de registro de cambios o debemos restablecer manualmente los desplazamientos del consumidor a los más antiguos en el consumidor del tema de registro de cambios?
Cada vez que se inicia una aplicación KStream/KsqlDb con un almacén de estado, verificará si existe un almacén de estado existente que se pueda cargar. Si no existe un almacén de estado o no se puede cargar, la API de Kafka Streams creará automáticamente un nuevo almacén de estado y restaurará el estado desde el tema de registro de cambios.
Cuando un almacenamiento de estado persistente desaparece o se elimina, KStream/KsqlDb restaurará automáticamente el almacenamiento de estado desde el tema de registro de cambios. Sin embargo, si desea garantizar que todos los eventos se procesen desde el principio del registro, puede restablecer manualmente los desplazamientos del consumidor a los más antiguos en el consumidor del tema de registro de cambios.
En general, es posible implementar KStream/KsqlDb con un almacenamiento de estado persistente en un entorno de Kubernetes sin perder la escalabilidad automática y la restauración automática del estado desde el tema de registro de cambios. La clave está en utilizar StatefulSets y PersistentVolumeClaims para garantizar que cada réplica tenga un nombre de host único y almacenamiento persistente que siga una convención de nomenclatura predecible.