如何在Promtail中解析多行JSON日志？

针对你遇到的多行日志解析和元数据干扰问题，以下是修改后的Promtail配置及详细说明：

修改后的完整配置 #

server:
  http_listen_port: 80
  grpc_listen_port: 9095
  log_level: debug

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://192.168.1.64:3100/loki/api/v1/push

scrape_configs:
- job_name: patriotbot
  pipeline_stages:
    # 合并多行日志：匹配标准时间戳开头的行作为新日志条目起始
    - multiline:
        firstline: '^\[\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}\.\d{3}\]'
        # 防御性配置：限制最大合并行数，避免异常日志无限占用资源
        max_lines: 100
        # 超时自动结束当前日志条目合并
        timeout: 3s
    # 分离元数据与JSON内容：用命名捕获组提取关键信息
    - regex:
        expression: '^\[(?P<timestamp>.*?)\]\s\[(?P<level>.*?)\]\s(?P<logger>.*?)\s-\s(?P<log_entry>{.*})$'
    # 解析JSON嵌套字段，直接提取所需属性
    - json:
        source: log_entry
        expressions:
          message_id: message_id
          from_id: from.id
          is_bot: from.is_bot
          first_name: from.first_name
          last_name: from.last_name
          username: from.username
          chat_id: chat.id
          chat_title: chat.title
          chat_type: chat.type
          date: date
          message_thread_id: message_thread_id
          text: text
    # 将高频查询字段转为Loki标签，提升查询效率
    - labels:
        from_id:
        chat_id:
        chat_type:
    # 保留原始日志内容，同时附加解析后的字段
    - output:
        source: raw
  static_configs:
  - targets:
      - localhost
    labels:
      job: patriot
      type: all
      __path__: /logs/all.log

关键配置说明 #

1. 解决多行日志问题 #

multiline阶段通过精准匹配日志起始行（标准ISO时间戳格式），将跨多行的JSON日志合并为单条完整条目。添加max_lines和timeout是为了避免异常场景下的无限合并，确保资源占用可控。

2. 处理元数据干扰问题 #

regex阶段使用命名捕获组，将开头的时间戳、日志级别、logger名称与后面的JSON内容分离：

• 元数据（时间戳、level、logger）可作为独立字段保留
• log_entry捕获组单独提取完整JSON字符串，供后续json阶段解析

3. JSON字段解析优化 #

直接使用点语法提取嵌套JSON字段（如from.id），无需额外的name参数，解析后的字段会自动添加到日志的fields集合中，方便在Grafana中过滤查询。

4. 标签优化 #

将from_id、chat_id、chat_type这类高频查询的字段转为Loki标签，能大幅提升查询过滤的性能，适合在Grafana仪表盘中快速筛选特定用户或群组的日志。

内容的提问来源于stack exchange，提问作者Max Zavodniuk