Promtail JSON解析标签在Grafana不显示及嵌套JSON处理问题

一、基础JSON日志标签未显示的修复 #

你提到的日志格式里，字段是log、grpc.stream、time，但配置里要提取output、stream、timestamp，首先要确保字段映射完全匹配，并且正确将解析后的字段转为标签。

1. 修正Promtail Pipeline配置 #

确保json阶段解析正确字段，再通过labels阶段将解析结果转为标签，timestamp阶段同步日志时间：

pipeline_stages:
  # 解析JSON字段到临时变量
  - json:
      expressions:
        output: log          # 把日志里的log字段映射到output变量
        stream: grpc.stream  # 映射grpc.stream到stream变量
        log_time: time       # 映射time到log_time变量
  # 将临时变量转为Loki标签
  - labels:
      output:
      stream:
  # 设置日志的时间戳（可选，若Loki默认用采集时间则可省略）
  - timestamp:
      source: log_time
      format: RFC3339

2. 验证配置有效性 #

• 用Promtail dry-run模式测试：promtail -config-file=your-promtail-config.yaml -dry-run，查看输出的日志条目是否包含output、stream标签。
• 查看Promtail指标：访问http://<promtail-ip>:9080/metrics，搜索promtail_target_labels，确认目标采集的标签列表包含output和stream。

3. Grafana查询验证 #

在Grafana的Loki查询面板中：

• 先执行基础查询（比如{job="your-job-name"}），选中任意日志条目，查看左侧标签栏是否出现目标标签。
• 用label_values(output)查询，确认标签存在且有值。

二、嵌套JSON数组（Errors）的标签提取方案 #

Promtail默认的json阶段无法直接解析数组并生成标签，需要借助lua阶段实现自定义逻辑，将数组中的键值对转为标签。

1. Lua阶段处理数组示例 #

以下配置会遍历Errors数组中的每个对象，将对象内的键值对逐一添加为Loki标签：

pipeline_stages:
  # 先解析顶层JSON，提取Errors数组到临时变量
  - json:
      expressions:
        errors_array: Errors
        # 同时提取嵌套的Standort字段示例
        geraetenr: Standort.GeraeteNr
        plz: Standort.PLZ
  # 将嵌套字段转为标签
  - labels:
      geraetenr:
      plz:
  # 用Lua脚本处理Errors数组
  - lua:
      source: |
        -- 解析临时变量中的Errors数组
        local errors = json_decode(stages.errors_array)
        -- 确保是数组类型再遍历
        if type(errors) == "table" then
          for _, err_obj in ipairs(errors) do
            -- 遍历每个错误对象的键值对，添加为标签
            for key, value in pairs(err_obj) do
              labels[key] = value
            end
          end
        end

2. 注意事项 #

• 如果数组中存在重复键（比如多个对象都有Key1），后面的键值会覆盖前面的，需根据业务场景调整逻辑。
• 若希望保留数组结构而非拆分键值对，可以直接将数组转为字符串标签：

  - labels:
      errors_array:
  

  此时errors_array标签的值为数组的JSON字符串，Grafana中可查看完整数组内容。

内容的提问来源于stack exchange，提问作者Falke