Filebeat Multiline配置未生效，日志未合并问题求助

我的Filebeat配置 #

logging:
  level: debug
  to_files: true
  files:
    path: /tmp/filebeat
    name: filebeat-debug.log
  selectors: ["*"]
filebeat.inputs:
- type: filestream
  id: db_servers
  paths:
    - /var/log/test02/*.log
  fields:
    log_source: "test02"
  multiline:
    pattern: '^May 27 16:08:54 mx22-test-74-53 qa_53-logic1\[587\]: \[m22\]'
    negate: true
    match: after
    skip_newline: true
output.logstash:
  hosts: ["graylog:5044"]

测试日志内容 #

May 27 16:08:54 mx22-test-74-53 qa_53-logic1[587]: [m22][484912][2025-05-27 16:08:54,744][logicSrv.20501][INFO]: server patch or code  index=-1
May 27 16:08:54 mx22-test-74-53 qa_53-logic1[587]: hello world
May 27 16:08:54 mx22-test-74-53 qa_53-logic1[587]: [m22][484912][2025-05-27 16:08:54,744][logicSrv.20501][INFO]: server patch or code  index=-12

当前现象 #

• Graylog能收到3条独立日志，但未按预期合并
• 调试日志中无任何Multiline相关记录，仅输出：

{"log.level":"debug","@timestamp":"2025-06-21T17:47:45.234Z","log.logger":"logstash","log.origin":{"function":"github.com/elastic/beats/v7/libbeat/outputs/logstash.(*asyncClient).Publish","file.name":"logstash/async.go","file.line":174},"message":"3 events out of 3 events sent to logstash host graylog:5044. Continue sending","service.name":"filebeat","ecs.version":"1.6.0"}

1. 修正Multiline匹配规则（核心问题） #

你的pattern写死了固定时间、主机名和进程ID，只能匹配某一条特定日志的开头，完全不具备通用性。需要改成匹配所有日志行的起始格式：

针对你的日志格式，推荐使用通用的时间匹配规则：

multiline:
  pattern: '^[A-Z][a-z]{2} \d{2} \d{2}:\d{2}:\d{2}'
  negate: true
  match: after

如果需要更精准匹配（包含主机和进程前缀），可以用：

multiline:
  pattern: '^[A-Z][a-z]{2} \d{2} \d{2}:\d{2}:\d{2} mx22-test-74-53 qa_53-logic1\[\d+\]:'
  negate: true
  match: after

规则说明：

• ^[A-Z][a-z]{2}：匹配月份缩写（如May、Jun）
• \d{2} \d{2}:\d{2}:\d{2}：匹配日期和时间（如27 16:08:54）
• \d+：匹配任意数字的进程ID（替代写死的587）
• negate: true：表示不匹配该规则的行会被合并到上一行
• match: after：将当前行追加到上一行末尾

2. 确保Multiline调试日志输出 #

当前调试日志仅显示Logstash相关内容，可通过以下方式强制输出Multiline模块日志：

• 重启Filebeat时指定调试模块：

  filebeat -c /path/to/your/filebeat.yml -d multiline
  

• 或者在配置中明确指定日志选择器：

  logging:
    selectors: ["multiline", "*"]
  

3. 验证合并效果 #

修改配置后，重启Filebeat并重新发送测试日志：

• 原本独立的hello world行应合并到上一行末尾
• 调试日志中会出现multiline、merge、flush等相关条目，说明模块正常工作

额外注意事项 #

• 如果处理的是已存在的旧日志文件，需删除Filebeat注册表（默认路径/var/lib/filebeat/registry）后重启，让它重新读取文件并应用新规则
• 确认Filebeat版本支持filestream输入类型（7.x+版本推荐），配置规则与旧log类型一致

内容的提问来源于stack exchange，提问作者Alex