kafka-python消费者Group ID设置无效,错误加入其他消费组问题排查
Kafka-Python 消费者Group ID被意外覆盖的问题
我使用Python的kafka-python库构建基于Kafka的数据管道,包含两个独立消费者:
- consumer.py:从主题
aave-raw追踪用户健康因子,设置group_id="risk-dash-test" - aggregator.py:读取
aave-raw和risk-deltas两个主题,指定group_id="risk-aggregator"
已确认两个文件的Group ID完全不同,但同时运行时,aggregator的日志显示其加入了risk-dash-test组,而非我设置的目标组。
我已执行以下排查操作:
- 修改aggregator.py中的group_id为
risk-aggregator - 清除所有
.pyc文件 - 添加
print(__file__, group_id)调试语句,确认代码中group_id的设置值正确 - 确认运行命令为
python -m pipeline.aggregator
但问题仍未解决,请问kafka-python为何会忽略或覆盖已设置的group_id?
内容的提问来源于stack exchange,提问作者Prajwal Khot
相关产品推荐
相关产品推荐

