Grafana使用Tempo搜索追踪时标签自动补全显示异常求助

以下是针对该问题的排查和解决步骤：

• 版本兼容性检查
  确认Grafana与Tempo的版本是否匹配官方推荐组合。部分旧版本的Grafana（比如9.x早期版本）在处理Tempo的标签过滤时存在已知bug，会将标签值替换为内部索引ID。建议升级到Grafana 10.x + Tempo 2.x的稳定组合，或查看两者的Release Notes，确认是否有相关标签显示问题的修复记录。

• 验证Tempo标签提取配置
  检查Tempo的config.yaml配置文件，确保标签提取规则正确保留了service、environment、instance的原始值：

  • 查看processors中的attributes配置，确认没有误将标签值替换为其他字段；
  • 检查spanmetrics配置，确保标签聚合时没有丢失原始字符串值；
  • 确认Tempo的storage配置中，标签索引没有被错误配置为存储ID而非原始值。

• 清除前端缓存
  强制刷新Grafana页面（Ctrl+Shift+R），或清除浏览器缓存后重新测试。前端缓存异常可能导致下拉选项的渲染逻辑出错，显示错误的值。

• 直接验证Tempo API返回
  绕过Grafana，直接调用Tempo的标签查询API，确认返回的标签值是否正常：

  # 获取所有标签
  curl http://<tempo-address>:3200/api/search/tags
  # 获取特定标签的所有值（比如service）
  curl http://<tempo-address>:3200/api/search/tag/service/values
  

  如果API返回的标签值是正常字符串，说明问题出在Grafana侧；如果返回的是数字ID，说明Tempo的标签处理逻辑存在问题，需要调整配置。

• 检查Grafana数据源配置
  在Grafana的Tempo数据源设置中：

  • 确认“Trace to logs”功能没有开启不必要的字段映射，避免干扰标签值的显示；
  • 检查“Query options”中的配置，确保没有开启标签值的转换或过滤规则。

• 开启Tempo调试日志
  临时将Tempo的日志级别设置为debug，查看筛选标签时的请求日志：
  在config.yaml中添加或修改：

  log_level: debug
  

  重启Tempo后，查看日志中标签查询请求的响应数据，确认Tempo返回的标签值是否正确。

内容的提问来源于stack exchange，提问作者gmulcahy