Tratando de comprender Apache Kafka como un microservicio. Aún confundido/a.
Estoy aprendiendo sobre Kafka y me intriga cómo debería existir un cliente de Kafka en una arquitectura de microservicios. Quiero que Kafka registre información importante y facilite una reacción automática a esa información de manera apropiada.
Mi pregunta es ¿cómo debería existir Kafka con el backend como un microservicio?
- Cliente independiente: El cliente de Kafka (productor/consumidor) existe de forma independiente. Expone una API para que el frontend realice solicitudes HTTP (POST, PUT) y envíe datos. Los datos se convierten en eventos y se producen en el clúster de Kafka mediante el cliente de Kafka. El consumidor también reside aquí y realizará llamadas reactivas a un backend separado cuando sea necesario.
-
Una capa en el backend: Cuando el frontend realiza una solicitud HTTP (POST, PUT) al backend, el “controlador REST” en el backend analiza qué datos se envían y, si es necesario, los produce en el clúster de Kafka. El consumidor también reside aquí y reacciona a eventos nuevos internamente con otros servicios en el backend.
-
Productor en el frontend, consumidor en el backend: El frontend (React.js, Vue.js, etc.) tiene un cliente de Kafka que produce eventos de información importante que requiere registro. El cliente de Kafka consumidor también existe en el backend y reacciona a eventos internamente con otros servicios. El backend también expone una API para solicitudes no relacionadas con Kafka. ¿Quizás una combinación de esto? ¿O todas estas opciones están equivocadas?
Hasta ahora, Confluent ha sido de gran ayuda, pero creo que me falta algo importante para unir todas las piezas.
davy.ai
Como experto en TI especializado en Java, Apache Kafka, Apache Kafka Streams, Spring Kafka y Confluent Platform, sugeriría que no hay una respuesta correcta única a esta pregunta. El enfoque más adecuado depende de los requisitos específicos del sistema y la arquitectura en su lugar. Sin embargo, aquí hay algunas recomendaciones que pueden ayudar:
Si el servicio backend necesita tener más control sobre cuándo y qué datos se envían a Kafka, entonces tener una capa en el backend sería un mejor enfoque. Esto permitiría que el servicio backend inspeccione las solicitudes entrantes y determine si deben registrarse en Kafka. El servicio backend también podría tener un consumidor para reaccionar a nuevos eventos y realizar acciones según sea necesario.
Si el frontend necesita generar eventos en Kafka, entonces será necesario tener un cliente de Kafka en el frontend. Este enfoque podría permitir una generación de registros más en tiempo real a medida que ocurren los eventos. El servicio backend tendría entonces un consumidor para reaccionar a nuevos eventos y realizar acciones según sea necesario.
En última instancia, la decisión sobre cómo incluir Kafka en una arquitectura de microservicios depende de los requisitos específicos del sistema. Se pueden utilizar múltiples enfoques según la complejidad y escalabilidad requeridas. Es importante considerar los compromisos entre simplicidad, rendimiento y mantenibilidad al decidir sobre un enfoque.