Spring Boot Kafka多消费者同监听Topic仅单个能消费问题求助

• 你遇到的现象是Kafka消费者组的默认行为，先明确你的业务需求：是需要两个消费者实例都收到同一条消息（广播模式），还是两个实例分摊消费消息（集群高可用/负载均衡模式），再对应排查：

1. 排查Topic分区数与消费者组配置 #

Kafka核心消费逻辑规则：

同一个消费者组下的多个消费者，只能消费Topic中不同的分区，1个分区最多只能被同组的1个消费者消费；不同消费者组的消费者可以独立消费全量的消息。

你可以先执行Kafka命令查看目标Topic的分区数：

kafka-topics.sh --describe --topic <你的XXX Topic名称> --bootstrap-server <Kafka服务地址:端口>

如果查询到Topic的分区数为1：

• 若你需要集群负载均衡模式：两个实例同组分摊消费，直接把Topic分区数扩容到≥2即可，参考命令：kafka-topics.sh --alter --topic <XXX Topic名称> --partitions 2 --bootstrap-server <Kafka服务地址:端口>
• 若你需要广播模式：两个实例都收到全量消息，给两个实例配置不同的消费者组即可。

2. 调整Spring Cloud Stream消费者配置 #

你当前的配置中没有显式指定消费者组，相同代码启动的实例默认会生成相同的消费者组ID，才会出现同组竞争分区的情况。

集群模式配置（同组分摊消费） #

在配置文件中显式指定统一的消费组，同时确保Topic分区数≥实例数：

# 替换<topic-binding-name>为你配置中对应XXX Topic的binding名称，和@StreamListener的target值对应
spring.cloud.stream.bindings.<topic-binding-name>.group=custom-consumer-group

广播模式配置（每个实例都消费全量消息） #

给每个实例配置不同的消费组，可以用随机值自动生成：

spring.cloud.stream.bindings.<topic-binding-name>.group=consumer-group-${random.uuid}

3. 次要排查项（概率较低，按需验证） #

• 检查消费者offset提交配置：确认auto.offset.reset配置为earliest，避免其中一个实例启动时offset已被提交到最新，错过历史消息测试
• 验证消息Header匹配规则：可以在监听器中先打印所有消息Header，排除偶发的Header不匹配导致消费不到的问题
• 检查Kafka服务端日志：确认是否存在消费者重平衡异常、实例掉线的错误提示

内容的提问来源于stack exchange，提问作者Peter Parker