Grafana Loki无法查询Pod日志 技术排查求助

• 检查采集组件运行状态

  1. 确认Promtail Pod是否正常：kubectl get pods -n <监控命名空间>（通常是monitoring），确保所有Promtail实例处于Running状态，无重启或CrashLoopBackOff。
  2. 查看Promtail日志定位错误：kubectl logs <promtail-pod-name> -n <监控命名空间>，重点排查是否有permission denied、path not found或K8s API访问报错。

• 验证Promtail采集配置

  1. 导出Promtail配置文件：kubectl exec <promtail-pod-name> -n <监控命名空间> -- cat /etc/promtail/config.yml
  2. 检查kubernetes scrape job规则：
     • 确认selector或namespace_selector是否包含foo-app所在的命名空间和Pod标签，避免过滤规则排除了目标Pod。
     • 核对日志路径配置，K8s 1.27的Pod日志默认路径为/var/log/pods/*/*/*.log，确认Promtail容器已挂载该路径。

• 检查存储后端（Minio）可用性

  1. 确认Minio Pod状态：kubectl get pods -n <监控命名空间>，确保实例正常运行。
  2. 查看Loki日志验证存储写入：kubectl logs <loki-pod-name> -n <监控命名空间>，搜索storage关键词，排查是否有Minio连接失败、权限不足或写入超时的报错。

• 确认Grafana查询配置

  1. 验证Loki数据源连通性：在Grafana数据源页面点击「Test」，确保返回「Data source is working」。
  2. 修正查询语法：使用精确标签匹配，比如{namespace="<foo-app命名空间>", pod="foo-app"}，避免因标签缺失导致查询无结果。

• 权限细节排查

  1. 检查Promtail的ServiceAccount权限：确认绑定的ClusterRole包含pods、nodes、namespaces资源的list和watch权限，以及pods/log的get权限。
  2. 节点日志文件权限验证：通过docker exec -it <kind-node-name> bash登录Kind节点，查看目标Pod日志文件（/var/log/pods/<foo-app-namespace>_foo-app-*/<容器名>/*.log）的权限，确保Promtail运行用户（通常是nobody）有读取权限。

• 临时调试验证
  在Promtail Pod内直接读取目标日志：cat /var/log/pods/<foo-app-namespace>_foo-app-*/<容器名>/*.log，如果能读取到内容，说明问题出在Promtail配置或Loki写入环节；如果无法读取，则是路径挂载或权限问题。

内容的提问来源于stack exchange，提问作者konkerama