Reactive Kafka Receiver未ack旧消息仍拉取新记录 是默认行为还是缺少配置？

结论 #

这是Reactive Kafka Receiver的预期默认行为，并非配置遗漏。

原因解释 #

• Kafka消费者的拉取逻辑和offset提交（ack）逻辑本身完全解耦：ack的作用仅为记录当前消费进度，确保消费者重启后从正确的offset位置开始消费，不会控制消息的拉取节奏。
• Reactive Kafka默认开启了预取（prefetch）机制，默认预取值为256，也就是说消费者会预先拉取最多256条消息缓存到本地流缓冲区中，只要缓冲区未满就会持续从Kafka服务端拉取新消息，和上游消息是否已经执行ack没有关联。
• 你当前代码中使用的flatMap算子默认并发度为256，会同时并行处理多条拉取到的消息，进一步放大了“未ack也能收到新消息”的表现。

实现“处理并ack完成后才拉取下一条”的配置方案 #

如果需要严格的单条顺序消费，必须处理完前一条、提交offset后才拉取下一条，需要修改两处配置：

1. 构造ReceiverOptions时将预取值设置为1，关闭批量预取：

ReceiverOptions<String, CustomEvent> receiverOptions = ReceiverOptions.create(consumerConfig)
    .prefetch(1); // 限制每次仅预取1条消息

2. 修改flatMap算子的并发度为1，强制单条顺序处理：

// 原代码
.flatMap(this::handleReceivedRecord)
// 修改后
.flatMap(this::handleReceivedRecord, 1)

额外注意事项 #

你当前代码中注释了正常处理流程的ack逻辑，仅在重试耗尽时才执行ack，这会导致正常处理成功的消息offset永远不会提交，消费者重启后会从上一次提交的offset位置重新消费，出现大量重复消费的问题，建议恢复正常流程的ack代码。

内容的提问来源于stack exchange，提问作者Adam