如何在Promtail中解析嵌套JSON日志并提取嵌套字段生成标签

你的问题在于当前配置只提取了整个req嵌套对象，没有深入解析其中的子字段。要获取method、URL和host（对应日志里req.hostname）作为标签，有两种简洁的实现方式：

方法一：直接提取嵌套字段（推荐） #

在json阶段的表达式中，使用**.语法**直接访问嵌套JSON的属性，一步到位提取目标字段：

scrape_configs:
  - job_name: plainlog
    pipeline_stages:
      - json:
          expressions:
            # 直接通过父字段.子字段的形式提取嵌套内容
            method: req.method
            url: req.url
            host: req.hostname
            # 可选：提取日志中的其他字段比如msg
            msg: msg
      - labels:
          # 将提取到的字段映射为Promtail标签
          method:
          url:
          host:
    static_configs:
      - targets:
          - localhost
        labels:
          job: plainlog
          __path__: /home/nidhin/Desktop/plainlog/*log

关键说明： #

• json阶段的expressions里，req.method会直接定位到日志中req对象下的method属性，把它提取为名为method的临时字段；同理处理url和host。
• 后续的labels阶段只需列出这些临时字段名，就能自动将它们转为Promtail的标签。

方法二：分阶段解析嵌套对象 #

如果需要先单独处理整个req对象，也可以用两个json阶段分步解析：

scrape_configs:
  - job_name: plainlog
    pipeline_stages:
      # 第一步：提取整个req嵌套对象
      - json:
          expressions:
            req: req
      # 第二步：以req字段为数据源，解析其中的子字段
      - json:
          source: req
          expressions:
            method: method
            url: url
            host: hostname
      - labels:
          method:
          url:
          host:
    static_configs:
      - targets:
          - localhost
        labels:
          job: plainlog
          __path__: /home/nidhin/Desktop/plainlog/*log

关键说明： #

• 第一个json阶段把整个req对象提取为临时字段；第二个json阶段通过source: req指定解析数据源，从而提取内部的子字段。
• 这种方式适合需要对req对象做额外处理（比如过滤、转换）的场景。

两种方法都能实现你的需求，第一种更简洁高效，推荐优先使用。

内容的提问来源于stack exchange，提问作者Nidhin Kumar