Logstash multiline编解码器不识别模式，配置是否有误？

看起来你遇到的是单行包含多条独立日志的解析场景，但你的Logstash配置用了针对「跨多行的单条日志」的multiline codec，这就是解析失败的核心原因。

你的配置问题拆解 #

你的日志文件里，多条完整的日志（比如OutOfOrderEventAlert{...}、IllegalCspFileEventAlert{...}）是挤在同一行的，而multiline codec的作用是把跨多行的单条日志合并成一个事件（比如一条日志分成好几行打印的情况）。你当前的配置：

codec => multiline { 
  pattern => '^\}' 
  negate => true 
  what => previous 
}

是在尝试把「不以}开头的行」合并到上一行，但你的日志根本没有换行，所有内容都在一行里，这个配置完全不适用，只会把整行当成一个超大事件，自然无法解析。

正确的解决思路：先拆分单行多日志 #

我们需要先把单行里的多个日志条目拆分成独立事件，再进行后续解析，具体步骤如下：

1. 调整输入配置（移除multiline） #

首先去掉multiline codec，用默认的line codec读取整行内容：

input {
  file {
    path => "/home/vm01/Documents/csb-demo/csb-result.txt"
    type => "csb-alert"
    start_position => "beginning"
    sincedb_path => "/home/vm01/Documents/sincedb_redefined2"
    # 移除multiline，使用默认line codec
  }
}

2. 用split过滤器拆分单行日志 #

使用split过滤器，基于正则正向预查，在每个日志条目的开头（XxxAlert{）前分割，把单行拆成多个独立事件：

filter {
  split {
    field => "message"
    # 正向预查：匹配后面紧跟Alert{的位置作为分割点
    terminator => "(?=(OutOfOrderEventAlert|IllegalCspFileEventAlert){)"
  }
}

3. 可选：进一步解析日志内容 #

拆分后，每个事件是单独的XxxAlert{...}字符串，可以用grok+kv过滤器解析键值对：

filter {
  # 先拆分单行日志
  split {
    field => "message"
    terminator => "(?=(OutOfOrderEventAlert|IllegalCspFileEventAlert){)"
  }

  # 提取alert类型和内部内容
  grok {
    match => { "message" => "%{DATA:alert_type}{%{GREEDYDATA:alert_content}}" }
  }

  # 解析alert_content里的key=value格式
  kv {
    source => "alert_content"
    field_split => ", "
    value_split => "="
    trim => "'" # 去掉字符串值的单引号
  }
}

完整测试配置 #

你可以先配置stdout输出验证效果：

input {
  file {
    path => "/home/vm01/Documents/csb-demo/csb-result.txt"
    type => "csb-alert"
    start_position => "beginning"
    sincedb_path => "/home/vm01/Documents/sincedb_redefined2"
  }
}

filter {
  split {
    field => "message"
    terminator => "(?=(OutOfOrderEventAlert|IllegalCspFileEventAlert){)"
  }

  grok {
    match => { "message" => "%{DATA:alert_type}{%{GREEDYDATA:alert_content}}" }
  }

  kv {
    source => "alert_content"
    field_split => ", "
    value_split => "="
    trim => "'"
  }
}

output {
  stdout { codec => rubydebug }
  # 如果你需要输出到Elasticsearch，再添加对应的配置
  # elasticsearch {
  #   hosts => ["localhost:9200"]
  #   index => "csb-alerts-%{+YYYY.MM.dd}"
  # }
}

关键细节说明 #

• split的正则逻辑：(?=(XxxAlert){)是正向预查，它不会消耗字符，只会在匹配到的位置分割，这样就能精准把每个XxxAlert{...}拆成独立事件。
• 嵌套内容处理：如果日志里有嵌套的CsbEvent{...}，上面的kv解析可能无法完全处理，这时候你可以针对嵌套部分再写grok规则，或者用ruby过滤器做更复杂的解析，但先完成单行拆分是首要步骤。

测试建议 #

先运行Logstash查看stdout的输出，确认每个事件都是单独的Alert日志，再根据需要调整后续的解析规则。

内容的提问来源于stack exchange，提问作者Ihsan Haikal