ELK新手求助：如何用Filebeat跳过首行并按4行一组处理多行数据？

一、跳过文件第一行 #

有两种实用方案，按需选择：

1. Filebeat 端直接过滤（适合首行是固定表头的场景） #

在 filebeat.yml 的文件输入配置块中，添加 exclude_lines 参数，用正则匹配首行内容。比如首行是固定表头（如以"时间,字段1,字段2"开头），配置示例：

filebeat.inputs:
- type: filestream
  paths:
    - /path/to/your/target.log
  exclude_lines: ['^时间,字段1,字段2']

2. Logstash 端过滤（通用场景） #

如果首行内容不固定，可在 Logstash 的 filter 阶段用 Ruby 过滤器记录行号并跳过第一行：

filter {
  ruby {
    code => "
      event.set('line_number', event.get('[@metadata][file][line]'))
      if event.get('line_number') == '1'
        event.cancel()
      end
    "
  }
}

二、将每4行数据合并为一组 #

推荐在 Filebeat 端处理，减少传输压力，配置示例：

filebeat.inputs:
- type: filestream
  paths:
    - /path/to/your/target.log
  multiline.pattern: '^.*'  # 匹配任意行内容
  multiline.negate: false
  multiline.match: after
  multiline.max_lines: 4    # 累计4行合并为一个事件
  multiline.timeout: 5s     # 超时未收到新行时，自动提交当前已累积的行组

如果每组有特定的起始/结束标识（比如第四行以"GROUP_END"结尾），可将 multiline.pattern 改为对应的正则（如 ^GROUP_END），并调整 negate 和 match 参数实现精准分组。

内容的提问来源于stack exchange，提问作者AnonymousScientificUser