Promtail无法提取日志JSON字段至Loki问题求助

核心问题点 #

• 日志中的JSON使用单引号，但Promtail的json stage仅支持标准双引号格式的JSON
• 正则表达式未正确锁定JSON部分，且json stage未作用于捕获的目标字段
• 字段映射错误：配置里的argv对应日志里的arg，名称不匹配

修正后的Promtail配置 #

scrape_configs:
  - job_name: tracker
    static_configs:
      - targets:
          - localhost
    labels:
      job: tracker
      __path__: /var/log/apptrack.log
    pipeline_stages:
      - match:
          selector: '{job="tracker"}'
          stages:
            # 跳过前缀内容，精准捕获末尾的JSON块
            - regex:
                expression: '.*(?P<msg>\{.*\})'
            # 将单引号替换为双引号，同时把None转为JSON标准的null
            - replace:
                source: msg
                replacements:
                  - old: "'"
                    new: '"'
                  - old: "None"
                    new: "null"
            # 基于处理后的msg字段解析JSON
            - json:
                source: msg
                expressions:
                  args: arg  # 对应日志里的arg字段
                  show: show
                  envname: envname
                  ostype: ostype
                  hostname: hostname
                  username: username
                  site: site
                  app: app
                  ver: ver
            # 可选：移除原始msg字段，减少日志冗余
            - remove:
                field: msg

关键修正说明 #

1. 正则捕获优化：用.*(?P<msg>\{.*\})跳过日志行前半部分的时间、主机名等内容，精准锁定最后面的JSON块
2. 格式标准化：通过replace stage将非标准的单引号JSON转为双引号格式，同时把None替换为JSON标准的null，确保json stage能正常解析
3. stage层级调整：把json stage放到match的stages内部，让它处理正则捕获到的msg字段，而非原始完整日志行
4. 字段映射修正：将配置里的argv改为arg，和日志中的实际字段名对应

修改配置后重启Promtail，再到Grafana/Loki查询，就能看到提取后的独立字段了。

内容的提问来源于stack exchange，提问作者Adam Barnett