kafka-lag-exporter消费组读取多主题时无延迟指标问题求助

核心原因 #

v0.7.0版本的kafka-lag-exporter默认仅采集消费组当前活跃订阅的主题的滞后指标。当消费组group1仅消费topic_1时，它并未订阅topic_2，因此exporter不会主动拉取topic_2的分区偏移量与该消费组的偏移记录做对比，导致kafka_consumergroup_group_lag指标缺失。而消费组停止后，exporter会扫描集群内所有主题，并检查该消费组是否存在对应分区的历史偏移记录，此时就能生成topic_2的指标。

解决方案 #

1. 配置强制全主题扫描 #

修改kafka-lag-exporter的application.conf配置文件，开启全主题采集：

kafka-lag-exporter {
  clusters = [
    {
      name = "local-cluster"
      bootstrap-servers = "localhost:9092"
      # 开启集群内所有主题的滞后指标采集
      include-all-topics = true
      # 可选：排除不需要采集的主题（比如内部主题）
      # exclude-topics = [".*__consumer_offsets.*", ".*__transaction_state.*"]
    }
  ]
}

修改后重启exporter，即可在消费组运行时获取所有主题的滞后指标。

2. 让消费组订阅目标主题（业务场景允许时） #

如果业务逻辑中group1需要消费topic_2，只需在消费端配置订阅topic_2，exporter会自动采集该主题的滞后指标，无需修改exporter配置。

3. 升级到更高版本 #

v0.7.0是较早的版本，后续版本（如v0.9.x）优化了指标采集逻辑，默认会处理未订阅主题的滞后指标，升级后可直接解决该问题，且无需额外配置。

验证方法 #

1. 按上述方案调整配置或升级版本
2. 启动消费组group1仅消费topic_1
3. 在Prometheus中查询kafka_consumergroup_group_lag{topic="topic_2",group="group1"}
4. 若指标正常出现，说明问题解决

内容的提问来源于stack exchange，提问作者Vazgen Torosyan