Kafka正则表达式订阅出现闲置消费者，求负载均衡解决方案

问题根源 #

你遇到的是Kafka默认RangeAssignor分区分配策略的特性导致的：这个策略会按单个主题维度分配分区，而非全局所有主题的分区统一分配。

• 4个10分区的主题：每个主题的分区会分给前10个消费者，每个消费者拿1个分区
• 12分区的主题：分区会分给前12个消费者，每个消费者拿1个分区
  最终只有前12个消费者能拿到所有主题的分区，剩下38个消费者没有任何分区可消费，处于闲置状态。

最优解决方案：切换到全局轮询分配策略 #

把消费者的分区分配策略改成RoundRobinAssignor，它会把所有匹配到的主题的所有分区放在一个全局列表里，然后按消费者顺序轮询分配，这样能确保所有消费者都分到至少1个分区（52个分区分给50个消费者，会有2个消费者多拿1个分区，其余48个各拿1个）。

配置方式 #

在消费者初始化时添加以下配置：

import org.apache.kafka.clients.consumer.RoundRobinAssignor;
import org.apache.kafka.clients.consumer.ConsumerConfig;

// 消费者配置
Properties props = new Properties();
// 其他基础配置（bootstrap.servers、group.id等）...
props.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG, RoundRobinAssignor.class.getName());

如果是用配置文件（比如consumer.properties），则添加：

partition.assignment.strategy=org.apache.kafka.clients.consumer.RoundRobinAssignor

注意事项 #

• 同一个消费组内的所有消费者必须使用相同的分配策略，否则会触发重平衡异常
• 确保消费组的group.id设置正确，所有消费者属于同一个组

其他可选方案 #

如果一定要强制每个消费者最多只消费1个分区，需要自定义分区分配策略，但这种方式复杂度高，且没必要——因为RoundRobinAssignor已经能满足你让所有消费者参与工作的核心需求，自定义策略会增加维护成本，不推荐。

另外，也可以调整消费者数量，但这种方式灵活性差，不如切换分配策略直接。

内容的提问来源于stack exchange，提问作者Semyon Kirekov