Promtail配置Loki标签失败：Nginx Ingress日志字段未自动解析求助

核心问题分析 #

1. 日志来源配置错误：你当前使用static_configs尝试从Promtail Pod本地文件系统读取日志，但Nginx Ingress Controller的日志实际输出到Pod的stdout/stderr，需要通过Kubernetes服务发现来抓取。
2. 正则表达式不匹配完整日志行：你的正则仅覆盖了基础日志字段，未包含Loki查询中显示的request_time、status_ingress等后续字段，导致正则匹配失败，无法提取标签。
3. 标签名称冲突：正则中捕获的host字段与静态配置的host标签重名，会导致覆盖或解析异常。

修正后的Promtail配置 #

server:
  http_listen_port: 9080
  grpc_listen_port: 0
positions:
  filename: /var/lib/promtail/positions.yaml
clients:
  - url: http://loki-stack.monitoring.svc.cluster.local:3100/loki/api/v1/push
scrape_configs:
- job_name: nginx-ingress-microk8s-controller
  # 使用Kubernetes服务发现抓取Ingress Controller Pod日志
  kubernetes_sd_configs:
  - role: pod
    namespaces:
      names:
        - ingress
  relabel_configs:
  # 仅保留指定app标签的Pod
  - source_labels: [__meta_kubernetes_pod_label_app]
    action: keep
    regex: nginx-ingress-microk8s-controller
  # 添加namespace标签
  - action: replace
    source_labels: [__meta_kubernetes_namespace]
    target_label: namespace
  # 添加pod名称标签
  - action: replace
    source_labels: [__meta_kubernetes_pod_name]
    target_label: pod
  # 添加自定义静态标签
  - action: replace
    target_label: env
    replacement: production
  - action: replace
    target_label: host
    replacement: ruan-prod-nginx
  pipeline_stages:
  # 匹配完整日志行的正则表达式
  - regex:
      expression: '^(?P<remote_addr>[\d\.]+) - - \[(?P<time_local>[^\]]+)\] "(?P<method>[^ ]+) (?P<request>[^ ]+) HTTP/(?P<http_version>[^"]+)" (?P<status>\d+) (?P<body_bytes_sent>\d+) "(?P<referer>[^"]*)" "(?P<user_agent>[^"]*)" (?P<request_time>[0-9\.]+) \S+ \S+ \S+ (?P<status_ingress>\d+) \[(?P<resource_name>[^\]]+)\] \S+ \S+ \S+ (?P<log_id>\S+)$'
  # 解析日志中的时间戳（替换默认 ingestion time）
  - timestamp:
      source: time_local
      format: "02/Jan/2006:15:04:05 -0700"
  # 将提取的字段转为标签
  - labels:
      remote_addr:
      method:
      request:
      status:
      referer:
      user_agent:
      request_time:
      status_ingress:
      resource_name:

应用配置并验证 #

1. 更新Promtail配置：

   helm upgrade loki-stack grafana/loki-stack -n monitoring --set promtail.config.promtailYaml="$(cat promtail-config.yaml)"
   

2. 重启Promtail Pod：

   kubectl delete pods -n monitoring -l app.kubernetes.io/instance=loki-stack,app.kubernetes.io/name=promtail
   

3. 验证配置是否生效：
   • 查看Promtail Pod的实际配置：

     kubectl exec -n monitoring <promtail-pod-name> -- cat /etc/promtail/config.yaml
     

   • 检查Promtail日志是否有解析错误：

     kubectl logs -n monitoring <promtail-pod-name>
     

4. 在Loki中查询验证：
   使用类似语句查询，确认标签已自动添加：

   {app="nginx-ingress-microk8s-controller",namespace="ingress",method="GET"}
   

内容的提问来源于stack exchange，提问作者safernandez666