Tag: KAFKA-PRODUCER-API
Tengo un caso de uso en el que tengo que probar el punto de saturación de mi clúster de Kafka (de 3 nodos) con un alto número de grupos de consumidores. (Para encontrar el punto de saturación para nuestro caso de uso de producción) Confirmación (“ack”) del productor: todo. He . . . Read more
Estoy utilizando un productor transaccional de Kafka para publicar de manera atómica en 2 temas en un broker. Mi código se ve similar a esto: Properties props = new Properties(); props.put(“bootstrap.servers”, “localhost:9092”); props.put(“transactional.id”, “my-transactional-id”); Producer<string, string=””> producer = new KafkaProducer<>(props, new StringSerializer(), new StringSerializer()); ProducerRecord<string, string=””> record1 = new ProducerRecord(“topic-1”, . . . Read more
El api de Kafka ProducerRecord tiene varios constructores diferentes. Quiero poder especificar el tema, la marca de tiempo, la clave y el valor; pero no la partición. La opción más cercana que veo es la siguiente, pero me obliga a especificar un número de partición: public ProducerRecord(String topic, Integer partition, . . . Read more
Quiero verificar el estado del envío de registros a Kafka. Necesito asegurarme de que todos los registros se hayan almacenado correctamente en Kafka. Estaba pensando en utilizar el mecanismo de devolución de llamada, por ejemplo, creando una clase de devolución de llamada como: public class MyCallback implements Callback { private . . . Read more
Resumen Estoy intentando evaluar el rendimiento de un clúster kafka fuera de la estantería (3 nodos). Estoy utilizando la configuración predeterminada. A continuación se detallan los detalles de la configuración: Nodos totales = 3 Zookeeper = nodo1 Workers = nodo1, nodo2 y nodo3 Configuración de cada nodo = 4 núcleos, . . . Read more