El productor transaccional de Apache Kafka no respeta la atomicidad al publicar en 2 temas, si uno de los temas falla.

Estoy utilizando un productor transaccional de Kafka para publicar de manera atómica en 2 temas en un broker. Mi código se ve similar a esto:

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("transactional.id", "my-transactional-id");
Producer<string, string=""> producer = new KafkaProducer<>(props, new StringSerializer(), new StringSerializer());

ProducerRecord<string, string=""> record1 = new ProducerRecord("topic-1", null, (Object) null, payload, headerList);
ProducerRecord<string, string=""> record2 = new ProducerRecord("topic-2", null, (Object) null, payload, headerList);
List<><string, string="">> recordList = Arrays.asList(record1, record2);

producer.initTransactions();

try {
     producer.beginTransaction();
     Iterator var2 = recordList.iterator();

     while(var2.hasNext()) {
         ProducerRecord<k, v=""> record = (ProducerRecord)var2.next();
         this.send(record, (Callback)null);
     }

     producer.commitTransaction();
} catch (ProducerFencedException | OutOfOrderSequenceException | AuthorizationException e) {
     // No podemos recuperarnos de estas excepciones, por lo que nuestra única opción es cerrar el productor y salir.
     producer.close();
} catch (KafkaException e) {
     // Para todas las demás excepciones, simplemente abortamos la transacción y volvemos a intentarlo.
     producer.abortTransaction();
}
producer.close();

Ahora, para probar la atomicidad mientras publico en ambos temas, eliminé “topic-2”. Espero que la transacción falle por completo. Pero extrañamente, después de varios intentos, la transacción se confirma con éxito en “topic-1”.

Además, estoy viendo registros de error continuos con mensajes:

Error al obtener metadatos con ID de correlación 123:
{topic-2=UNKNOWN_TOPIC_OR_PARTITION}

Pero eventualmente dice:

Transición del estado IN_TRANSACTION a COMMITTING_TRANSACTION

y luego se publica con éxito en “topic-1”. No estoy seguro por qué veo este comportamiento. ¿Qué podría salir mal y se espera este comportamiento?</k,></string,></string,></string,></string,>