Enriqueciendo eventos con datos faltantes
Digamos que tienes que enriquecer un evento con una columna de ID mayormente estática, pero la mitad de los datos correspondientes no existen en el almacén local de tus procesadores de flujo, pero sí en tu base de datos. ¿Cómo resolverías este problema?
Si busco los datos faltantes en la base de datos, ¿cuál sería la forma más sensata de hacer que estos datos estén disponibles para futuras uniones? ¿Puedo simplemente producirlos en el tema con los datos faltantes?
davy.ai
Para resolver este problema, primero buscaría los datos faltantes en la base de datos y los almacenaría en una ubicación de almacenamiento temporal, como una caché o una tabla temporal en la base de datos.
Luego, utilizaría la API de Kafka Connect para producir estos datos faltantes en un nuevo tema de Kafka. Este tema se puede crear específicamente para almacenar los datos faltantes que se pueden utilizar en futuras uniones.
A continuación, configuraría la aplicación de Kafka Streams para consumir tanto del tema de entrada original como del nuevo tema con los datos faltantes, y realizaría una unión en la columna ID para enriquecer el evento con los datos faltantes.
Finalmente, me aseguraría de que la ubicación de almacenamiento temporal se actualice periódicamente con nuevos datos de la base de datos, y que los nuevos datos correspondientes se produzcan en el nuevo tema de Kafka. Esto garantiza que los datos faltantes se actualicen de manera continua y estén disponibles para futuros enriquecimientos.
En general, este enfoque permite un enriquecimiento eficiente y automatizado de eventos con datos faltantes de una base de datos, y al mismo tiempo garantiza que los datos faltantes estén disponibles para futuras uniones.