同一Group-ID下两个Kafka消费者为何仅一个工作？如何分消息？

这个问题我之前也碰到过，核心原因其实和Kafka消费者组的分区分配机制有关，咱们一步步拆解来看：

问题根源：Topic分区数不足 #

Kafka消费者组有个铁规则：同一个消费者组内，每个Topic分区只能被组内的一个消费者消费。如果你的test Topic只有1个分区，那不管你启动多少个同组的消费者，只有一个能拿到这个分区的消息，其他消费者都会处于“待命”状态，完全收不到消息——这就是你看到的“一个卡住，另一个接收所有消息”的直接原因。

验证问题：查看Topic分区数 #

你可以用Kafka的命令行工具确认test Topic的分区情况：

kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic test

查看输出中的PartitionCount字段，如果数值是1，那完全符合咱们的判断。

解决步骤 #

1. 增加Topic分区数 #

执行以下命令将test Topic的分区数调整为2（至少要等于你的消费者数量）：

kafka-topics.sh --bootstrap-server localhost:9092 --alter --topic test --partitions 2

⚠️ 注意：Kafka的Topic分区数只能增加不能减少，所以请根据后续可能的消费者数量合理规划分区数。

2. 重启消费者 #

分区数修改完成后，重启你的两个消费者实例。Kafka会自动触发分区重新分配，两个消费者会各自分到一个分区，此时它们就能分别消费对应分区的消息，实现“数据仅被消费一次、两个消费者各处理部分消息”的预期。

额外说明 #

• 你的生产者代码没有指定消息key，Kafka会采用轮询策略将新消息均匀分配到各个分区，所以增加分区后，两个消费者会收到大致等量的消息。
• 你的消费者配置中enable_auto_commit=True是合理的，它会自动提交消费偏移量，避免消息重复消费。
• 如果后续需要扩展更多消费者，记得同步增加Topic的分区数（消费者数量不能超过分区数，否则多余的消费者会处于空闲状态）。

内容的提问来源于stack exchange，提问作者Boom