Apache Kafka订阅指定ai主题的消费者收到非预期额外流量问题咨询

1 核心配置问题排查 #

你当前消费者配置中注释了group_id参数，这是最可能导致异常消费行为的原因：

• Kafka消费者依赖消费组ID管理消费进度、offset提交记录，kafka-python客户端在未显式指定group_id的场景下，部分旧版本会出现订阅规则失效的问题，可能消费到非预期主题的数据
• 先取消group_id行的注释，指定固定的合法消费组名称后重启服务，验证是否还会收到额外流量

2 确认消费者实际订阅的主题 #

如果修改group_id后问题仍然存在，先确认消费者的实际订阅列表是否符合预期：
在消费者初始化完成后加入如下代码，打印当前订阅的主题：

print(self.__traffic_consumer.subscription())

• 如果输出结果不是仅包含['ai']，说明订阅逻辑出现异常，可尝试在初始化后显式调用订阅方法指定主题：self.__traffic_consumer.subscribe(['ai'])
• 如果输出结果符合预期，说明问题出在消息生产侧，和消费者无关

3 排查主题内容与生产者配置 #

你提到所有额外流量都来自分区0，这个特征指向生产者侧配置错误：

• 用Kafka自带的控制台消费工具直接消费ai主题的全量数据，验证主题本身是否已经包含了非预期的全量日志，命令参考：
  kafka-console-consumer.sh --bootstrap-server 10.5.1.1:9094 --topic ai --from-beginning
• 如果控制台消费结果同样包含额外流量，说明上游生产者将不属于ai主题的日志也发送到了该主题，且大概率是生产者写死了分区0发送，才会出现所有额外流量都来自分区0的特征，修改上游生产者的路由规则即可解决问题

内容的提问来源于stack exchange，提问作者Mihai.Mehe