ELK技术栈中如何避免Filebeat将多条日志合并为单个Elasticsearch文档？

核心问题原因 #

Filebeat 的 multiline.pattern 配置项仅支持原生正则表达式，不支持 Grok 模式语法，你填写的 %{TIMESTAMP_ISO8601} 无法被正确解析为时间戳匹配规则，导致多行合并逻辑完全失效，出现多条独立日志被错误合并的问题。

修正后的配置 #

只需修改 multiline.pattern 为对应时间戳的正则表达式即可，原有 negate、match 配置符合你的需求无需改动：

filebeat.prospectors:
  - type: log
    paths:
      - /ofbiz/runtime/logs/*.log
    fields:
      docType: app-logs
    document_type: app-logs
    multiline.type: pattern
    # 替换为匹配你日志时间格式的原生正则
    multiline.pattern: '^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}'
    multiline.negate: true
    multiline.match: after
    ignore_older: 24h
    close_inactive: 60m

fields:
  env: dev
  project: Ofbiz-Backend

output:
  logstash:
    enabled: true
    hosts:
      - elk:5044
    timeout: 15
    ssl.enabled: false

配置生效注意事项 #

修改配置重启Filebeat前，需要先删除Filebeat的registry文件（默认存储路径为 /var/lib/filebeat/registry，自定义安装路径可找对应data目录下的registry文件），该文件会记录已读取日志的偏移量，不删除的话旧日志不会重新走新的拆分逻辑。

验证方法 #

1. 执行 filebeat test config -c /path/to/your/filebeat.yml 验证配置语法合法性
2. 前台启动Filebeat filebeat -e -c /path/to/your/filebeat.yml 查看输出的日志事件，确认拆分符合预期后再后台运行

内容的提问来源于stack exchange，提问作者Manjot Singh