Kafka消费者重平衡时为何不用consumer.committed取偏移量而用外部存储

问题核心原因说明 #

你默认假设「消费成功的偏移同时写入Kafka内置存储和外部存储时两者完全一致」，这个前提在实际生产场景中并不成立，且外部偏移管理的核心目标本身就是脱离Kafka内置偏移存储的依赖，具体原因如下：

• 大量外部偏移管理场景根本不会向Kafka提交偏移。你选用ConsumerRebalanceListener做外部偏移管理，很多时候就是为了完全自主管控消费位点，不会主动调用commitSync()/commitAsync()向Kafka提交偏移，这种情况下consumer.committed(partition)拿到的要么是消费者组初始化的默认值，要么是历史脏数据，完全不能作为消费起点。
• 双写场景下两个偏移无法保证原子一致，只有外部存储的偏移能和业务状态严格对齐。就算你同时做「提交偏移到Kafka」和「写入偏移到外部存储」两个操作，二者不属于同一个事务，必然存在时间差：
  • 先提交Kafka偏移，写外部存储前服务宕机：Kafka存储的偏移会比实际业务处理完成的偏移更新，下次用Kafka偏移启动会直接跳过未处理的消息，导致数据丢失
  • 先写外部存储再提交Kafka偏移，提交阶段宕机：Kafka存储的偏移会比实际处理进度更旧，会出现不必要的重复消费
    只有和业务逻辑绑定写入的外部偏移才能保证状态一致，比如你可以把偏移和业务数据放在同一个数据库事务中提交，完全不会出现状态不匹配的问题。
• 外部偏移灵活性更高。如果你需要回溯消费、批量调整消费位点，直接修改外部存储的偏移值即可，重平衡后自动生效，不需要调用Kafka Admin接口修改内置偏移，也不受消费者组ID变更、Kafka集群迁移等运维操作的影响。

内容的提问来源于stack exchange，提问作者Alexander