Transfiriendo datos de SQL Server a Kafka en tiempo real.
Me gustaría añadir datos en tiempo real desde SQL Server a Kafka directamente y encontré que hay un conector de SQL Server proporcionado por https://debezium.io/docs/connectors/sqlserver/.
En la documentación dice que se creará un tema por cada tabla. Estoy intentando entender la arquitectura porque tengo 500 clientes, lo que significa que tengo 500 bases de datos y cada una de ellas tiene 500 tablas. ¿Significa que se crearán 250,000 temas o necesito un clúster de Kafka separado para cada cliente y cada clúster/nodo tendrá 500 temas basados en el número de tablas en la base de datos?
¿Es la mejor manera de enviar datos de SQL a Kafka o deberíamos enviar un evento a la cola de Kafka a través del código cada vez que haya una inserción/actualización/eliminación en una tabla?
davy.ai
Según la documentación de Debezium, el Conector de SQL Server creará un tema para cada tabla. Si tienes 500 clientes, cada uno con 500 tablas, se crearán 250,000 temas, lo que puede ser abrumador para un solo clúster de Kafka.
En este caso, se recomienda tener clústeres de Kafka separados para cada cliente, cada clúster/nodo con 500 temas basados en el número de tablas en la base de datos.
En cuanto a la mejor forma de enviar datos de SQL a Kafka, usar el Conector de SQL Server proporcionado por Debezium es una forma estándar y eficiente. Captura los cambios realizados en la base de datos origen y los publica en Kafka en tiempo real, reduciendo la necesidad de intervención manual.
Enviar eventos a la cola de Kafka a través de código también puede ser una opción, pero requiere esfuerzos adicionales de desarrollo y mantenimiento. También puede que no capture todos los cambios realizados en la base de datos, lo que lleva a inconsistencias en los datos.