标签值为特定格式时Grafana停止展示Prometheus数据求助

一、标签值字符限制说明 #

Prometheus官方规范中，标签值允许使用任意Unicode字符串，仅禁止包含空字符（\u0000），斜杠（/）这类字符不在禁止范围内。Grafana本身对标签值没有额外的严格限制，主要依赖后端数据源（此处为Amazon Managed Service for Prometheus，简称AMP）的兼容支持。

二、排查步骤：区分Prometheus Server与Grafana问题 #

第一步：验证指标是否成功写入AMP #

这一步可以定位问题是否出在Prometheus采集或写入环节：

• 直接在AMP的查询界面（或通过Prometheus Server的API接口）执行PromQL查询：

  your_metric_name{key_key="/db/query1.xq"}
  

  如果查询无结果，说明Prometheus未将该指标写入AMP，需进一步排查：
  • 检查Prometheus Server日志，搜索是否存在与该标签值相关的解析、写入报错，比如：

    grep -i "error" /var/log/prometheus/prometheus.log | grep "/db/query1.xq"
    

  • 检查自定义exporter的输出，确认指标格式是否符合Prometheus规范，比如是否为类似以下的合法格式：

    custom_metric{key_key="/db/query1.xq"} 42.5
    

第二步：若AMP中存在数据，排查Grafana环节 #

如果AMP能查询到目标指标，说明问题出在Grafana侧：

• 在Grafana的Explore界面直接执行相同的PromQL查询，看是否能返回数据：
  • 若Explore能查到数据：说明仪表盘面板的配置有误，比如过滤条件写错、变量配置冲突等，检查对应面板的查询语句和变量设置。
  • 若Explore也查不到数据：查看Grafana日志，搜索是否存在查询报错或数据源连接问题，比如：

    grep -i "query" /var/log/grafana/grafana.log | grep "/db/query1.xq"
    

    同时可以尝试刷新Grafana缓存、重启Grafana服务，排除临时缓存或进程异常问题。

内容的提问来源于stack exchange，提问作者adamretter