Docker Swarm中Promtail日志采集失败及标签缺失问题排查

问题分析 #

你的核心问题是Docker Swarm环境下Promtail无法生成有效日志标签，导致Loki返回400错误，且容器相关标签丢失，根源在于Swarm与Compose的容器元数据格式差异、日志解析阶段不匹配，以及缺少标签兜底机制。

修复方案 #

1. 调整Promtail的服务发现与标签重写配置

适配Swarm容器的元数据格式，添加标签兜底避免为空：

scrape_configs:
  - job_name: flog_scrape 
    docker_sd_configs:
      - host: unix:///var/run/docker.sock
        refresh_interval: 5s
        role: container  # 明确指定抓取容器实例
        filters:
          - name: label
            values: ["logging=promtail"] 
    relabel_configs:
      # 适配Swarm容器名称格式（/service-name.1.随机串），提取容器名
      - source_labels: ['__meta_docker_container_name']
        regex: '/(.*)'
        target_label: 'container'
        replacement: '$1'
      # 提取日志流类型（stdout/stderr）
      - source_labels: ['__meta_docker_container_log_stream']
        target_label: 'logstream'
      # 提取job标签，添加默认值防止为空
      - source_labels: ['__meta_docker_container_label_logging_jobname']
        target_label: 'job'
        replacement: 'containerlogs'  # 兜底值，确保标签不为空
      # 强制保留job标签，保证每个日志流至少有一个有效标签
      - action: keep
        source_labels: ['job']

2. 修正日志解析流水线

移除不兼容的cri阶段，适配json-file日志驱动格式：

pipeline_stages:
  # 先解析json-file驱动的原始日志结构（包含log、time等字段）
  - json:
      expressions:
        log: log
        time: time
  # 多行日志合并（基于时间戳开头规则）
  - multiline:
      firstline: ^\d{4}-\d{2}-\d{2} \d{1,2}:\d{2}:\d{2},\d{3}
      max_wait_time: 3s
      source: log  # 指定从log字段提取多行内容
  # 解析日志内容中的JSON字段（如level）
  - json:
      expressions:
        level: level
      source: log  # 从合并后的log字段解析
  # 可选：将解析出的level字段转为标签
  - labels:
      level: level

3. 确保Promtail在Swarm中具备Docker Socket访问权限

在Promtail的Swarm服务配置中，添加Docker Socket挂载并设置全局部署（覆盖所有节点）：

services:
  promtail:
    image: grafana/promtail:latest
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock:ro  # 只读挂载提升安全性
      - ./promtail-config.yaml:/etc/promtail/config.yaml
    deploy:
      mode: global  # 每个Swarm节点部署一个实例，采集全节点容器日志

验证步骤 #

1. 查看Promtail容器日志，确认不再出现400错误。
2. 在Loki仪表盘中用{job="containerlogs"}查询，检查container、logstream标签是否正常显示。
3. 访问Promtail的目标接口http://promtail:9080/targets，查看抓取目标的标签生成情况。

内容的提问来源于stack exchange，提问作者uberrebu