关于Apache Kafka Exactly Once语义与max.poll.records配置的疑问

将max.poll.records设为1确实能减少重复消息的数量，但无法降低重复事件发生的概率。

具体原因和细节如下：

• 重复消息的核心诱因是消费者位移提交与业务消息处理的原子性不一致，比如：
  • 消息处理完成但位移未提交时消费者崩溃，重启后会重新拉取并处理已完成的消息；
  • 位移已提交但消息处理失败，会导致未完成处理的消息丢失，但如果是处理中途崩溃且位移未提交，依然会触发重复消费。
• 当max.poll.records设为1时：
  • 每次拉取仅1条消息，即便出现上述原子性问题，最多只会重复1条消息，而不是批量拉取时的N条；
  • 但只要原子性问题存在（比如未实现处理+提交的原子操作），重复事件依然会发生——该崩溃的场景还是会崩溃，该触发重复的逻辑还是会触发，只是单次重复的量级被缩小了。
• 副作用提醒：将max.poll.records设为1会显著降低消费吞吐量，因为每次拉取都要与broker建立交互，开销远大于批量拉取。

如果要从根源上解决重复消息问题，更有效的方案是：

• 实现业务逻辑的幂等性（无论收到多少次相同消息，处理结果一致）；
• 采用Kafka的Exactly Once语义方案（比如结合事务、消费者位移与业务操作的原子提交）。

内容的提问来源于stack exchange，提问作者szend