Tag: KAFKA-CONSUMER-API
Hay 2 servicios que leen desde el mismo tema, las configuraciones son las mismas excepto para el groupId, 1 partición, en los registros veo la misma configuración del consumidor y una conexión exitosa. Uno de los servicios lee mensajes de la cola, el otro no. De las diferencias encontradas, hay . . . Read more
Estoy utilizando Confluent Kafka en mi proyecto donde los mensajes enviados a un tema particular necesitan ser eliminados después de un tiempo de retención. Así que configuré retention.ms para los temas individuales, pero no está funcionando (aún puedo ver los mensajes después de su tiempo de retención). He buscado la . . . Read more
El archivo JSON del tema de Kafka necesita ser escrito en una tabla de BigQuery y solamente es necesario escribirlo cada 5 minutos.
Hasta donde entiendo, el Consumidor en Kafka siempre consulta el tema. Al menos vi esto en este código: ConsumerRecords<string, string=””> registros = consumer.poll(Duration.ofMillis(100)); Por lo tanto, los casos de uso para Kafka deberían ser muy diferentes en comparación con un mundo REST. En un REST, solo “consultas” cuando realmente necesitas . . . Read more
Digamos que tengo 50 tópicos de Kafka, cada uno con 3 particiones, lo que hace un total de 150 particiones. Si tengo un KafkaListener/Consumer configurado para cada una de estas 150 particiones (debido al alto volumen en cada partición), significa que tengo 150 oyentes en ejecución. Según entiendo, cada oyente . . . Read more