Promtail+Loki仅显示部分命名空间，开发命名空间日志缺失求助

• 检查Promtail采集过滤规则

  • 确认Promtail的scrape配置中是否包含开发命名空间，比如kubernetes_sd_configs的namespaces字段是否将目标命名空间加入白名单，同时排查relabel_configs是否存在过滤该命名空间标签的规则。
  • 执行命令查看Promtail实际生效的配置：kubectl exec -n <promtail-namespace> <promtail-pod-name> -- cat /etc/promtail/config.yaml，重点核对Kubernetes相关的采集配置段。

• 验证Promtail到Loki的日志发送状态

  • 查看Promtail Pod日志，筛选开发命名空间相关内容，排查是否存在发送失败的报错（如连接超时、Loki返回4xx/5xx状态码）：kubectl logs -n <promtail-namespace> <promtail-pod-name> | grep "<dev-namespace-name>"
  • 查看Promtail metrics指标，检查发送成功/失败计数：访问Promtail Pod的3101端口metrics接口，关注promtail_sent_entries_total和promtail_send_errors_total，过滤目标命名空间标签，确认是否有错误累积。

• 排查Loki接收端配置与日志

  • 检查Loki的limits_config，确认是否存在针对命名空间的日志限制（如reject_old_samples、max_label_value_length），是否导致开发命名空间日志被拒绝。
  • 查看Loki Pod日志，搜索是否有与开发命名空间日志相关的报错（如标签格式不合法、长度超限等）：kubectl logs -n <loki-namespace> <loki-pod-name>

• 确认Grafana查询逻辑正确性

  • 检查Grafana中Loki查询语句，确保正确指定开发命名空间标签，比如{namespace="<dev-namespace-name>"}（注意使用双引号，避免拼写错误）。
  • 直接通过Loki API验证查询：curl -G "http://<loki-service-ip>:3100/loki/api/v1/query_range" --data-urlencode 'query={namespace="<dev-namespace-name>"}' --data-urlencode 'start=3600'，查看是否返回日志数据。

• 检查Promtail批量发送机制

  • Promtail默认批量发送日志，若batchsize、batchwait参数设置过大，可能导致日志延迟。查看Promtail配置的client段，核对相关参数。
  • 临时将Promtail日志级别调为debug，获取更详细的发送过程：修改Helm values设置config.logLevel: debug，重启Pod后查看日志。

• 验证Kubernetes日志路径与权限

  • 确认开发命名空间Pod的日志路径符合Promtail默认采集路径（/var/log/pods/*/*/*.log），部分自定义Pod可能存在路径差异。
  • 检查Promtail的ServiceAccount权限，确认其绑定的ClusterRole允许读取/var/log/pods目录及目标命名空间的Pod资源。

内容的提问来源于stack exchange，提问作者Lilin