Fluentd无法解析多行Syslog日志问题求助

我之前也碰到过这种混合格式的多行日志解析问题——前面是标准Syslog头，后面跟着Java应用的日志（还嵌套了JSON），Fluentd默认的单行解析器根本hold不住，得靠multiline插件加上针对性的规则来搞定，给你一套具体的解决方案：

1. 用multiline插件识别日志边界 #

核心思路是匹配新日志的起始行，把后续的多行内容合并到同一个日志条目里。针对你给出的日志格式，配置可以这么写：

<source>
  @type tail
  path /path/to/your/target.log  # 替换成你的日志路径
  tag syslog.app.demo            # 自定义tag方便后续过滤匹配
  <parse>
    @type multiline
    # 匹配Syslog日志的起始行：数字前缀 + PRI字段 + 版本号 + ISO时间戳
    format_firstline /^\d+ &lt;\d+&gt;\d+ \d{4}-\d{2}-\d{2}T/
    # 解析第一行的所有结构化字段
    format1 /^(?<prefix>\d+) &lt;(?<pri>\d+)&gt;(?<version>\d+) (?<timestamp>\d{4}-\d{2}-\d{2}T[\d:.+]+) (?<host>[^ ]+) (?<app>[^ ]+) (?<uuid>[^ ]+) \[(?<proc>[^\]]+)\] - - (?<log_timestamp>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\.\d+) (?<level>[^ ]+) (?<pid>\d+) --- \[(?<thread>[^\]]+)\] (?<class>[^ ]+) : (?<message>.*)/
    # 匹配后续所有行，把内容追加到message字段
    format2 /^(?<message>.*)/
  </parse>
</source>

关键说明： #

• format_firstline：精准匹配新日志的开头，避免把应用日志的换行误判成新日志。你的示例开头是737 <14>1 2018-04-27T...，所以正则里用了^\d+ <\d+>\d+ \d{4}-\d{2}-\d{2}T来匹配（如果日志里实际是<而不是<，记得把<改成<）。
• format1：把第一行的Syslog头、Java日志的基本字段（时间戳、日志级别、线程、类名等）都解析成单独的字段，方便后续处理。
• format2：把后续的多行内容（比如JSON的换行部分）全部追加到message字段里，保证日志内容完整。

2. 解析message里的JSON内容 #

你的日志message字段里包含完整的JSON结构，解析完多行后，可以用parser过滤器把JSON拆成单独的字段：

<filter syslog.app.demo>
  @type parser
  key_name message  # 指定要解析的字段是message
  <parse>
    @type json
    reserve_data true  # 保留原message字段，同时把JSON解析后的字段放到顶层
  </parse>
</filter>

这样处理后，原来JSON里的application、logType、uniqueId等字段都会变成Fluentd日志的顶层字段，不管是存储还是分析都更方便。

3. 调试验证解析结果 #

配置完后，一定要验证一下解析是否正确：

• 开启Fluentd的调试日志，查看解析过程中的细节：

  fluentd -c your_config.conf -v
  

• 临时添加一个stdout输出插件，直接在控制台打印解析后的日志：

  <match syslog.app.demo>
    @type stdout
  </match>
  

注意事项 #

• 如果你的Syslog格式有变动（比如前缀长度、字段顺序变化），要及时调整format_firstline和format1的正则表达式，确保匹配准确。
• 确保Fluentd的版本支持multiline插件（v0.14及以上版本默认包含，不用额外安装）。

内容的提问来源于stack exchange，提问作者user2689921