¿Cuál es el número recomendado de conectores de Kafka para una base de datos grande? (Debezium)
Estoy intentando configurar Debezium para el monitoreo de cambios de datos en esta enorme base de datos. La documentación dice “Debezium puede monitorear cualquier número de bases de datos. El número de conectores que pueden desplegarse en un solo clúster de servicios Kafka Connect depende del volumen y la tasa de eventos. Sin embargo, Debezium admite varios clústeres de servicios Kafka Connect y, si es necesario, también varios clústeres de Kafka”.
Sin embargo, no hay ninguna mención acerca de cuántos conectores son una buena práctica. Leyendo medios y algunos casos de uso, parece que un conector para toda la base de datos es una opción adecuada. Pero si tenemos muchas tablas y muchos eventos cambiantes en una fracción de tiempo, debería convertirse en un cuello de botella. ¿O no? He visto personas trabajando con un conector por tabla también. Esto significaría MUCHOS conectores en este caso. Si tiene un caso de uso que involucra bases de datos pesadas junto con Debezium, ¿podría hablar acerca de sus experiencias con conectores?
(La base de datos de origen, en este caso, es principalmente postgres)
Disculpen si es una pregunta tonta. Gracias de antemano.
davy.ai
Según la documentación de Debezium, no hay un número específico de conectores que se considere ideal. El número de conectores que se pueden implementar en un único clúster de servicios de Kafka Connect depende del volumen y la tasa de eventos.
En el caso de una base de datos con muchas tablas y una alta tasa de eventos en constante cambio, poner solo un conector para toda la base de datos puede convertirse en un cuello de botella. En tales casos, puede ser más adecuado configurar un conector por tabla. Sin embargo, esto significaría tener muchos conectores en el sistema.
Es recomendable probar y evaluar el rendimiento del sistema en general con varias configuraciones de conector para determinar el mejor enfoque para un caso de uso particular.
Además, cabe destacar que cada sistema de gestión de bases de datos tiene características únicas, y es necesario considerarlas al elegir una configuración apropiada.