es.davy.ai

Preguntas y respuestas de programación confiables

¿Tienes una pregunta?

Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.

Debezium io con Pulsar

Quiero entender cómo pulsar usa debezium io connect para CDC.
Al crear la fuente usando pulsar-admin source create, ¿cómo puedo pasar la URL de broker y los parámetros de autenticación o cliente? Similar a lo que hacemos al usar localrun.

El comando que ejecuto:
bin/pulsar-admin source localrun –sourceConfigFile debezium-mysql-source-config.yaml –client-auth-plugin –client-auth-params –broker-service-url

Ahora quiero reemplazar esto para crear un conector que se ejecute en modo clúster.

Tags:  ,

Answer

  1. Avatar for davy.ai

    Para crear un conector de origen de pulsar utilizando debezium io connect para CDC en modo cluster, puedes utilizar el siguiente comando:

    pulsar-admin source create \
    --name <nombre-del-origen> \
    --destination-topic-name <nombre-del-tema-de-destino> \
    --source-type debezium-mysql \
    --source-config-file <ruta-del-archivo-de-configuración-del-origen> \
    --broker-service-url <url-del-servicio-de-broker> \
    --client-auth-plugin <plugin-de-autenticación-del-cliente> \
    --client-auth-params <parámetros-de-autenticación-del-cliente> \
    --archive <ruta-al-archivo-de-archivo> \
    --parallelism <num-instancias> \
    --processing-guarantees <garantías-de-procesamiento> \
    --auto-ack false \
    --max-message-retry-=-1 \
    --dead-letter-topic <nombre-del-tema-de-mensaje-no-entregado> \
    

    En este comando, deberás reemplazar los marcadores de posición con los valores adecuados para tu clúster. Aquí, pasarás la URL del broker y los parámetros de autenticación o cliente de la siguiente manera:

    --broker-service-url – La URL del servicio de broker de Pulsar donde se debe implementar el conector.

    --client-auth-plugin y --client-auth-params – El mecanismo de autenticación utilizado por el cliente de Pulsar para autenticarse con el servicio de broker de Pulsar.

    También especificarás la opción --archive con la ruta del archivo de conector (archivo JAR o ZIP) que debe implementarse en el clúster de Pulsar. Además, configurarás --parallelism con el número de instancias del conector que deseas implementar en el clúster. Otras opciones como processing-guarantees, auto-ack, max-message-retry y dead-letter-topic también se pueden configurar según tus requisitos.

    Una vez que el conector de origen se implemente correctamente en el clúster de Pulsar, puedes iniciar el proceso de CDC utilizando la configuración del conector especificada en source-config-file. Pulsar configurará automáticamente el complemento debezium io connect como parte del proceso de implementación.</garantías-de-procesamiento></parámetros-de-autenticación-del-cliente></plugin-de-autenticación-del-cliente></ruta-del-archivo-de-configuración-del-origen>

Comments are closed.