Kafka消费者组数量变动时的集群行为与重复消费规避问题

当消费者组出现成员增减时，Kafka会触发**重平衡（Rebalance）**机制，重新分配主题分区给组内活跃消费者，整个过程由协调者（Coordinator，通常是某个Broker节点）主导。针对你问的两个具体问题，拆解如下：

1. 消费者下线后，分区重分配时的offset处理 #

消费者组的offset是与分区绑定、属于整个组的，而非单个消费者。这些offset会被定期提交到Kafka内部的__consumer_offsets主题中存储。

• 当某个消费者正常下线时，它会先提交当前负责分区的最新offset，协调者在检测到该消费者心跳超时后，启动重平衡，将其负责的分区分配给其他活跃消费者。新接手的消费者会从__consumer_offsets中读取该分区对应本消费者组的最新已提交offset，从这个位置的下一条记录开始消费。
• 如果消费者是异常下线（比如进程崩溃、网络中断），可能存在未提交的offset。这时候要看消费者的配置：如果开启了auto.commit.enable，那最后一次自动提交的offset会被使用；如果是手动提交模式，就只能用最后一次手动提交的offset，未提交的这段数据可能会被重复消费（这也是生产环境常建议手动提交、配合业务幂等性实现exactly-once语义的原因）。

2. 新消费者加入时避免重复消费的机制 #

新消费者加入消费者组时，同样会触发重平衡：

• 协调者会先收集组内所有活跃消费者的状态，然后重新执行分区分配策略（比如Range、RoundRobin、Sticky等）。
• 新消费者拿到分配的分区后，会直接去__consumer_offsets主题中查询该分区对应本消费者组的已提交offset，然后从这个offset的下一条开始消费，完全不会读取组内已经消费过的数据。
• 特殊情况：如果这个消费者组是第一次有成员（无任何offset提交记录），才会按照auto.offset.reset的配置（可选latest从最新位置、earliest从最开始、none直接报错）决定起始位置，但只要组内之前有过消费记录，就会严格沿用已提交的offset。

内容的提问来源于stack exchange，提问作者Mandroid