Kafka双消费组消息处理异常：自动分组无法聚合消息

核心问题：消费组ID配置冲突 #

Kafka中不同消费组会独立消费主题的全量消息，不会出现一个组消费后另一个组拿不到消息的情况。你遇到的问题大概率是两个消费者的消费组ID配置重复，导致它们被归为同一个消费组，消息被轮询分发，进而出现其中一个组无法获取消息的情况。

具体排查与解决步骤 #

1. 检查消费组配置是否完全独立

   • 针对manual组的@StreamListener消费者，确认application.properties中的绑定配置：

     # 根据你的实际绑定名称调整，确保group值为manual
     spring.cloud.stream.bindings.manual-input.group=manual
     

   • 针对automatic组的KStream消费者，Kafka Streams的消费组ID由application-id指定，必须与manual组的ID完全不同：

     # 确保application-id值为automatic
     spring.cloud.stream.kafka.streams.bindings.automatic-input.consumer.application-id=automatic
     

   注意不要遗漏配置（未指定group会使用默认组，易引发冲突），也不要让两个组的ID重复。

2. 验证消费组的offset状态
   使用Kafka自带命令行工具查看两个消费组的offset，确认它们是否在独立维护消费进度：

   # 查看manual组的offset详情
   kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group manual
   # 查看automatic组的offset详情
   kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group automatic
   

   如果两个组的offset信息完全一致，说明它们确实属于同一个消费组，需立即修正配置。

3. 检查KStream窗口聚合的触发条件
   重启后automatic方法触发但无消息，可能是窗口聚合的时间窗口未到期。比如你配置了10分钟窗口，需要等待窗口关闭才会输出聚合结果。可以临时将窗口时间改短（比如10秒），测试是否能正常触发聚合逻辑。

4. 确认消息过滤逻辑
   虽然不影响消费组的消息获取，但要确保manual组只处理isManual=true的消息，automatic组处理对应类型的消息，避免不必要的资源消耗。

内容的提问来源于stack exchange，提问作者EveMsc