Prometheus抓取目标正常应答却返回“Empty query result”问题排查

核心排查方向 #

• 精准过滤实例验证
  自动补全能识别指标不代表所有目标都在上报。针对单个目标实例查询，比如：

  migrate_to_pure_finished_jobs{instance="myserver:11111"}
  

  逐个验证4个目标，确认是否存在实例未正常输出该指标的情况（哪怕值为0，正常抓取也应返回结果）。

• 检查抓取与数据保留配置
  确认scrape_interval确实为15秒，同时查看storage.tsdb.retention.time配置，避免数据被过早清理。若为新部署实例，等待1-2个抓取周期后再重试查询。

• 验证指标解析与抓取日志
  启动Prometheus时开启debug日志（--log.level=debug），查看抓取日志中是否显示成功获取到该指标。日志中会有类似如下内容：

  level=debug ts=202X-XX-XXTXX:XX:XX.XXXZ caller=scrape.go:1377 msg="Scraped target" target=http://myserver:11111/ duration=150ms metrics=1
  

  如果metrics=0，说明虽然HTTP请求成功，但Prometheus未解析到有效指标——可检查端点返回的metric是否存在隐藏字符、格式错误（比如换行符、注释格式）。

• 核对查询时间范围
  确保Prometheus UI的查询时间范围覆盖了抓取时段，比如选择「Last 5 minutes」，避免因时间范围过窄错过数据点。

• 确认指标名称完全匹配
  Prometheus指标名称大小写敏感，检查查询的指标名和端点返回的migrate_to_pure_finished_jobs是否完全一致，无多余字符或拼写错误。

• 尝试counter类型专属查询
  该指标为counter类型，可尝试用rate()函数查询变化率验证：

  rate(migrate_to_pure_finished_jobs[1m])
  

  若有实例指标值有变化，该查询应能返回结果，辅助判断数据是否真实存在。

内容的提问来源于stack exchange，提问作者E. Jaep