Kafka消费者组协调器状态不一致的成因与缓解方案咨询

我在Kafka 2.0.0环境中遇到一个问题：同一个消费者组，查询不同Broker返回的状态信息不一致，部分Broker显示该组有活跃成员且协调器为Broker 1，另一部分Broker显示该组无活跃成员且协调器为Broker 4。

执行以下命令查询状态：

bin/kafka-consumer-groups.sh  --bootstrap-server 10.32.218.112:9092 --describe --state  --group consumer-group
COORDINATOR (ID)          ASSIGNMENT-STRATEGY       STATE                #MEMBERS
10.32.218.112:9092 (1)    range                     Stable               1


bin/kafka-consumer-groups.sh  --bootstrap-server 10.32.67.102:9092 --describe --state  --group consumer-group
COORDINATOR (ID)          ASSIGNMENT-STRATEGY       STATE                #MEMBERS
10.32.218.112:9092 (1)    range                     Stable               1


bin/kafka-consumer-groups.sh  --bootstrap-server 10.33.150.9:9092 --describe --state  --group consumer-group
Consumer group 'consumer-group' has no active members.
COORDINATOR (ID)          ASSIGNMENT-STRATEGY       STATE                #MEMBERS
10.35.168.252:9092 (4)                              Empty                0


bin/kafka-consumer-groups.sh  --bootstrap-server 10.35.168.252:9092 --describe --state  --group consumer-group
Consumer group 'consumer-group' has no active members.
COORDINATOR (ID)          ASSIGNMENT-STRATEGY       STATE                #MEMBERS
10.35.168.252:9092 (4)                              Empty                0

bin/kafka-consumer-groups.sh  --bootstrap-server 10.33.21.48:9092 --describe --state  --group consumer-group
Consumer group 'consumer-group' has no active members.
COORDINATOR (ID)          ASSIGNMENT-STRATEGY       STATE                #MEMBERS
10.35.168.252:9092 (4)                              Empty                0

可见前2个Broker认为Broker 1是协调器，而后3个Broker认为另一个Broker是协调器。

更新1 #

在同一集群中，发现另一个消费者组也存在双协调器的情况，不同Broker返回的协调器地址、成员数均不一致：

bash kafka-consumer-groups.sh  --bootstrap-server 10.35.168.252:9092 --describe   --group consumer-group-1   --state

COORDINATOR (ID)          ASSIGNMENT-STRATEGY       STATE                #MEMBERS
10.35.168.252:9092 (4)    range                     Stable               34
bash kafka-consumer-groups.sh  --bootstrap-server 10.32.218.112:9092 --describe   --group consumer-group-1   --state

COORDINATOR (ID)          ASSIGNMENT-STRATEGY       STATE                #MEMBERS
10.32.218.112:9092 (1)    range                     Stable               14

更新2 #

已通过以下步骤重现该问题：

1. 使用Broker IP 10.32.218.112:9092启动属于消费者组cg1的Kafka消费者
2. 通过Broker IP 10.32.218.112:9092验证状态，显示消费者在线
3. 通过Broker IP 10.35.168.252:9092验证状态，显示消费者不在线
4. 使用Broker IP 10.35.168.252:9092启动属于消费者组cg1的Kafka消费者
5. 通过Broker IP 10.32.218.112:9092验证状态，显示消费者在线
6. 通过Broker IP 10.35.168.252:9092验证状态，显示消费者在线

但两个Broker返回的consumer id不同，且停止两个消费者后，两者报告的最后提交偏移量也不同，确认两个消费者被当作独立个体处理。

问题原因 #

• 集群元数据不一致：Broker之间的元数据同步机制失效，导致不同Broker对消费者组的协调器计算结果不一致。正常情况下，消费者组的协调器由group.id的哈希值结合集群元数据确定，所有Broker应得到相同结果，若元数据不同步就会出现分歧。
• 网络分区：集群内部分Broker之间存在网络隔离，形成两个无法互通的子网。当消费者连接不同子网的Broker时，会被分配到各自子网内的协调器，同一个消费者组被拆分为两个独立的组，偏移量也各自维护。
• Kafka 2.0.0版本bug：该版本存在元数据同步、协调器分配相关的已知问题，在网络波动等场景下容易出现元数据不一致的情况。

缓解方案 #

• 排查网络连通性：检查所有Broker之间的内部通信端口（默认9092）是否能正常互通，排查防火墙、网络策略是否导致Broker分区。
• 刷新Broker元数据：在每个Broker上执行元数据查询命令（如kafka-topics.sh --bootstrap-server <broker-ip>:9092 --list）触发同步；或重启异常Broker，让其重新从集群拉取完整元数据。
• 统一消费者bootstrap配置：让所有消费者连接统一的Broker地址列表，而非单个不同的Broker，避免因连接不同分区的Broker而分配到错误协调器。
• 升级Kafka版本：建议升级到2.8.x或3.x系列的稳定版本，这些版本修复了大量元数据和协调器相关的bug。
• 清理异常消费者组：确认存在重复组元数据时，使用kafka-consumer-groups.sh --bootstrap-server <正确协调器Broker>:9092 --delete --group <group-id>删除异常组信息，再重启消费者。

内容的提问来源于stack exchange，提问作者best wishes