求助：Kubernetes集群Grafana仪表盘无法查看格式化日志及部分指标

• 检查日志数据源配置

  • 进入Grafana的「Configuration → Data sources」，测试日志数据源（如Loki、Elasticsearch）的连接状态，排查连接失败报错。
  • 若使用Loki，检查Promtail的ConfigMap，确认pipeline_stages是否正确配置了结构化日志解析规则，确保采集到格式化日志的标签/字段。
  • 在Grafana Explore页面用数据源原生语法（如Loki的{job="your-target-job"}）直接查询，验证是否能返回目标日志条目。

• 校验面板查询配置

  • 查看面板的查询语句，排查是否因时间范围过短、标签筛选条件错误导致匹配不到日志。
  • 针对格式化日志，确认面板是否开启了结构化字段显示（如Loki面板的「Log fields」选项），并指定了正确的字段路径（如json.message）。
  • 对于缺失的指标，在Explore页面单独查询指标数据源（如Prometheus），验证指标本身是否有数据，同时检查面板查询的维度标签是否与指标维度匹配。

• 排查日志采集链路

  • 用kubectl get pods -n <your-namespace>查看日志采集组件（Promtail/Fluentd等）的运行状态，用kubectl logs <collector-pod> -n <your-namespace>查看采集组件自身日志，排查权限不足、日志路径错误等问题。
  • 确认目标应用Pod的日志存在（kubectl logs <target-pod> -n <your-namespace>），同时检查采集组件的配置是否包含该Pod的标签选择器。
  • 验证应用输出的结构化日志格式是否符合采集规则（如是否为标准JSON、无语法错误）。

• 检查Grafana权限与资源

  • 确认Grafana的ServiceAccount是否绑定了足够权限的ClusterRole，确保能访问日志/指标数据源。
  • 用kubectl describe pod <grafana-pod> -n <your-namespace>查看Pod是否存在OOM、CPU throttling等资源限制问题，这类情况可能导致日志查询超时或加载失败。

• 处理缓存与刷新问题

  • 点击Grafana面板右上角的刷新按钮，或清除浏览器缓存后重新加载页面。
  • 若启用了Grafana缓存插件，临时禁用后测试日志显示情况。

内容的提问来源于stack exchange，提问作者Bhagavat Bhise