Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Estoy utilizando “confluentinc/kafka-connect-jdbc:10.2.6” como mi conector JDBC para transferir temas de Kafka a mi questDB. Cuando proporciono nombres de tema explícitos, funciona como se espera. Pero cuando uso nombres de tema basados en expresiones regulares, no funciona, las tablas no se crean en mi base de datos questDB. ¿Qué me . . . Read more
¿Cómo puedo obtener el último mensaje producido por un productor de Kafka sin usar un bucle? Debe ser rápido, así que no puedo esperar a que llegue un nuevo mensaje y prefiero leer el mensaje más reciente. Lo que deseo hacer es equivalente al siguiente código, excepto que preferiría no . . . Read more
Esta es la clase base del consumidor que estoy utilizando para crear nuevos consumidores. Funciona bien para el consumidor con “enable.auto.commit=True”. Pero cuando creo un consumidor con “enable.auto.commit=False” y ocurre alguna de las excepciones (KeyDeserializationError, ValueDeserializationError), entonces necesito confirmar manualmente ese mensaje en el bloque except. Como esta clase base . . . Read more
En la función de Azure, ¿cómo hacemos la conexión del productor de Kafka como singleton o agrupación de conexiones? Cada vez que se dispara la función se crea una nueva conexión de Kafka. import json import logging import os, time import azure.functions as func from confluent_kafka import Producer def main(event: . . . Read more
Hola, tengo un cluster de Kafka utilizando 3 brokers (instancias EC2) y hay un tema con 100 particiones. Quería observar cuántos mensajes por segundo pueden manejar cierto número de consumidores. Así que he enviado mensajes por [20, 100, 500, 1000, 5000, 10000, 20000, 40000] por segundo. Y para cada tasa . . . Read more