Kafka消费者负载不均：3个Kubernetes副本仅一个消费全部消息

核心原因 #

Kafka的消息分摊逻辑完全依赖消费者组（Consumer Group）和主题分区（Topic Partition）：同一个消费者组内，每个分区只会被一个消费者消费。出现单副本独占所有消息的情况，大概率是以下原因之一：

• 目标主题的分区数小于消费者副本数（比如仅1个分区，3个消费者同组时，只有1个能拿到消费权限）
• 不同消费者实例的group.id配置不一致，导致未加入同一消费组
• 分区分配策略配置不合理，引发分配不均

解决步骤 #

1. 扩容Kafka主题分区数 #

首先确认目标主题的分区数，必须大于等于消费者副本数（这里至少需要3个分区）。如果分区数不足，执行以下命令扩容：

kafka-topics.sh --bootstrap-server <kafka-broker地址> --alter --topic <你的主题名> --partitions 3

注意：Kafka分区数仅支持扩容，无法减少，调整前需确认业务兼容分区变更后的消息分布逻辑。

2. 统一消费者组配置 #

检查K8s部署的所有消费者副本，确保group.id参数完全一致。

• Java消费者示例：

properties.put(ConsumerConfig.GROUP_ID_CONFIG, "统一的消费组ID");

• Spring Kafka配置示例：

spring:
  kafka:
    consumer:
      group-id: 统一的消费组ID

3. 调整分区分配策略（可选） #

默认的RangeAssignor策略在分区数与消费者数不整除时，可能出现少量分配不均。若需要更均匀的分配，可改用RoundRobinAssignor或StickyAssignor：

properties.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG, RoundRobinAssignor.class.getName());

4. 重启消费者实例 #

调整配置或分区后，重启所有K8s消费者副本，触发消费组重新执行分区分配逻辑。

验证方法 #

重启后生产一批消息，查看各消费者日志确认分摊情况，也可通过命令查看消费组的分区分配详情：

kafka-consumer-groups.sh --bootstrap-server <kafka-broker地址> --describe --group <你的消费组ID>

输出会显示每个消费者实例分配到的分区，确认3个副本各自持有至少1个分区即可。

内容的提问来源于stack exchange，提问作者jannath hussain