同一consumer group下不同消费者订阅不同topic的弊端及新消费者影响

1. 同消费组（相同group id）下不同消费者订阅不同topic的部署模式弊端 #

这种部署模式完全违背消费组的设计语义，核心弊端有以下几点：

• 触发订阅元数据冲突，直接导致消费逻辑异常。消费组协调者（Broker端负责管理消费组状态的组件）以组为单位聚合全量订阅信息，组内成员上报的订阅列表不一致时，最终生效的组级订阅会被最后一个完成上报的消费者覆盖，直接导致部分topic没有对应的消费逻辑，出现消息持续堆积。
• 重平衡分配逻辑完全失效，出现各类消费错误。消费组的队列/分区分配规则是基于“全组成员订阅规则一致”的前提设计的，订阅不一致时，分配算法无法正确匹配消费者和其有权限消费的分区，会随机出现三类问题：消费者被分配到自身未订阅topic的分区，拉取到消息后业务逻辑无法处理直接报错；同一分区被分配给多个消费者，出现重复消费；部分分区没有分配到任何消费者，出现消息漏消费。
• 消费位点管理混乱，引发消息丢失或大量重复消费。消费位点以group id + topic + 分区为维度存储，订阅混乱触发重平衡时，未订阅对应topic的消费者可能被分配到该topic的分区，由于本地没有对应消费进度记录，会按照默认配置从头消费（引发大量重复消费、服务负载突增）或者从最新位点开始消费（引发历史消息丢失）。
• 运维排查成本极高。这种非标准部署没有官方行为兜底，出现消费堆积、重复消费等问题时，无法通过官方监控、日志快速定位根因，扩容、缩容、重启实例时也无法预判影响范围，极易触发线上故障。

2. 新消费者加入上述异常配置的消费组，是否会影响订阅其他topic的原有消费者 #

会产生明确的、全范围的影响，核心影响路径如下：
新消费者加入消费组会触发全组的重平衡（Rebalance）流程，整个流程会强制组内所有现有消费者暂停消费，重新上报订阅信息、等待新的分区分配结果，这个停顿期从几百毫秒到几十秒不等，会直接导致组内所有关联topic的消费延迟上涨。
重平衡完成后，全组的分区分配关系会被完全打乱：原有消费者可能被收回原本正常消费的分区，这些分区会被分配给未订阅对应topic的新消费者，直接导致对应topic消费停滞、消息堆积；原有消费者也可能被分配到自身未订阅topic的分区，拉取到无法处理的消息后抛出异常，反复触发消费组重平衡，进入消费故障的死循环。

注意：主流消息队列官方均明确要求，同一个group id下的所有消费者必须保持完全一致的订阅规则（包含订阅的topic列表、消息过滤规则），不同业务消费逻辑请使用独立的group id做隔离，禁止使用同组异topic的非标部署模式。

内容的提问来源于stack exchange，提问作者Madhukar Choudhary