Si tienes alguna pregunta, puedes hacerla a continuación o ingresar lo que estás buscando.
Se nos ha proporcionado una URL de la cluster de kafka para consumir mensajes, pero como consumidor tenemos múltiples nodos de cluster. Para asegurarnos de que cada mensaje se procesará solo una vez, vamos a utilizar un group.id común compartido por nuestro grupo de consumidores. Además, vamos a comprometer explícitamente . . . Read more
Tenemos 10 corredores y últimamente muchos de ellos han estado recibiendo errores de “demasiados archivos abiertos”. Entonces el corredor muere. Cuando verificamos el número de archivos abiertos por el proceso de kafka, generalmente es de 70k o más. Al verificar (lsof -p {pid}), la mayoría de los archivos abiertos por . . . Read more
Hola, tengo un cluster de Kafka utilizando 3 brokers (instancias EC2) y hay un tema con 100 particiones. Quería observar cuántos mensajes por segundo pueden manejar cierto número de consumidores. Así que he enviado mensajes por [20, 100, 500, 1000, 5000, 10000, 20000, 40000] por segundo. Y para cada tasa . . . Read more
Las excepciones de Kafka NoOffsetForPartitionException y OffsetOutOfRangeException se lanzan cuando el desplazamiento de un conjunto de particiones es inválido (ya sea indefinido o fuera de rango), y no se ha configurado ninguna política de reinicio. ¿Puede describir los escenarios de ejecución que causan que se generen estas excepciones? Gracias.
Tenemos el requisito de consumir de un Tema de Kafka. El Tema es proporcionado por el equipo productor y no tenemos control sobre él. El productor publica una gran cantidad de mensajes que nuestro consumidor no puede consumir. Sin embargo, solo necesitamos el 5-10% del volumen producido. Actualmente en el . . . Read more