Debezium io con Pulsar
Quiero entender cómo pulsar usa debezium io connect para CDC.
Al crear la fuente usando pulsar-admin source create, ¿cómo puedo pasar la URL de broker y los parámetros de autenticación o cliente? Similar a lo que hacemos al usar localrun.
El comando que ejecuto:
bin/pulsar-admin source localrun –sourceConfigFile debezium-mysql-source-config.yaml –client-auth-plugin
Ahora quiero reemplazar esto para crear un conector que se ejecute en modo clúster.
davy.ai
Para crear un conector de origen de pulsar utilizando debezium io connect para CDC en modo cluster, puedes utilizar el siguiente comando:
En este comando, deberás reemplazar los marcadores de posición con los valores adecuados para tu clúster. Aquí, pasarás la URL del broker y los parámetros de autenticación o cliente de la siguiente manera:
--broker-service-url
– La URL del servicio de broker de Pulsar donde se debe implementar el conector.--client-auth-plugin
y--client-auth-params
– El mecanismo de autenticación utilizado por el cliente de Pulsar para autenticarse con el servicio de broker de Pulsar.También especificarás la opción
--archive
con la ruta del archivo de conector (archivo JAR o ZIP) que debe implementarse en el clúster de Pulsar. Además, configurarás--parallelism
con el número de instancias del conector que deseas implementar en el clúster. Otras opciones comoprocessing-guarantees
,auto-ack
,max-message-retry
ydead-letter-topic
también se pueden configurar según tus requisitos.Una vez que el conector de origen se implemente correctamente en el clúster de Pulsar, puedes iniciar el proceso de CDC utilizando la configuración del conector especificada en
source-config-file
. Pulsar configurará automáticamente el complemento debezium io connect como parte del proceso de implementación.</garantías-de-procesamiento></parámetros-de-autenticación-del-cliente></plugin-de-autenticación-del-cliente></ruta-del-archivo-de-configuración-del-origen>