Spring Kafka处理BackoffException时偏移量提交问题问询

场景说明 #

• 基于Spring Kafka（无Spring框架依赖）构建，使用**自动提交（auto commit）**配置的非批量记录监听器
• 监听器可能抛出两类异常：
  • BackoffException：需执行分区偏移量重置（seek）、暂停分区，且禁止提交该记录的偏移量
  • GeneralSystemException：需将消息转发至延迟主题，且正常提交该记录的偏移量

核心矛盾 #

自动提交模式下，若isAckAfterHandling=true，即便触发BackoffException，偏移量仍会被自动提交；若将isAckAfterHandling=false，又会导致GeneralSystemException场景下无法正常提交偏移量，两种配置无法同时满足两类异常的处理需求。

KafkaBackoffAwareMessageListenerAdapter + DefaultErrorHandler的自动处理缺陷 #

当使用该组合且开启自动提交时，DefaultErrorHandler虽然能正确完成偏移量重置和分区暂停，但仍会提交引发BackoffException的记录偏移量。一旦发生重平衡（rebalance），未处理完成的消息会因偏移量已提交而丢失，无法达到业务预期。

自定义错误处理器的正确性验证 #

我采用的解决方案是：保持isAckAfterHandling=true，自定义通用错误处理器在捕获BackoffException时，先执行偏移量重置、分区暂停操作，再向容器抛出异常。

最初以为这是临时变通方案，但结合Spring Kafka的设计逻辑来看：对于未恢复的异常记录，设计上要求必须返回异常，以此阻止自动提交逻辑触发。因此该方案并非变通，而是完全符合设计规范的正确实现：

• 针对BackoffException：抛出异常会中断自动提交流程，提前完成的seek和暂停操作能确保消息后续会被重新消费
• 针对GeneralSystemException：完成延迟主题转发后，因无异常抛出，自动提交逻辑正常执行，偏移量被正确提交

内容的提问来源于stack exchange，提问作者anon