如何让Logstash Grok过滤器的Spring日志模式排除含app-info的日志

听起来你遇到的是Grok匹配顺序导致的优先级问题——因为第一个Spring框架日志的模式能匹配到带app-info的日志，所以这些日志就不会进入第二个开发者日志的匹配逻辑了。下面给你两种可靠的解决思路：

方法一：在Grok模式中加入正则负向预查排除app-info #

正则的**负向预查（Negative Lookahead）**可以用来确保某个字符串不会出现在匹配范围内，而且不会消耗字符，非常适合这种场景。

假设你原来的Spring框架日志Grok模式是这样的：

%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{DATA:logger} - %{GREEDYDATA:systemmsg}

你只需要在匹配日志内容的部分（或者整个行的开头）加入(?!.*app-info)，来保证整个日志行中不存在app-info关键词：

# 确保日志行任何位置都没有app-info
(?!.*app-info)%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{DATA:logger} - %{GREEDYDATA:systemmsg}

或者如果你确定app-info只会出现在systemmsg字段里，也可以把预查放在该字段前：

%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{DATA:logger} - (?!.*app-info)%{GREEDYDATA:systemmsg}

注意事项 #

• 不要用负向回顾后瞻（(?<!...)）来做这件事，因为后瞻要求匹配的内容长度固定，而如果app-info前面的字符长度不固定，正则会直接编译失败，这可能就是你之前尝试排除时出错的原因。
• 负向预查的.*会匹配任意字符（除换行），所以能覆盖app-info出现在行内任意位置的情况。

方法二：用Logstash条件判断控制Grok匹配逻辑 #

如果觉得正则预查不好理解，更直观的方式是给Grok过滤器加上条件判断，只在日志不含app-info时才应用Spring框架的匹配模式：

filter {
  # 只匹配不含app-info的Spring框架日志
  if "app-info" not in [message] {
    grok {
      match => { "message" => "你的Spring框架日志Grok模式" }
      add_tag => ["spring-framework-log"]
      # 其他配置比如tag_on_failure等
    }
  }

  # 只匹配含app-info的开发者自定义日志
  if "app-info" in [message] {
    grok {
      match => { "message" => "你的开发者日志Grok模式" }
      add_tag => ["custom-app-log"]
    }
  }

  # 处理多行堆栈跟踪日志（记得先配置multiline插件合并堆栈）
  grok {
    match => { "message" => "你的堆栈日志Grok模式" }
    add_tag => ["stack-trace-log"]
    # 堆栈日志通常是多行，建议先通过multiline插件把整个堆栈合并为单个事件
  }
}

这种方法逻辑更清晰，不容易出现正则写法错误，而且后续维护起来也更方便。

额外提醒：多行堆栈日志的处理 #

别忘了堆栈跟踪日志是多行的，你需要先在input阶段配置multiline插件，把整个堆栈合并成一个单独的事件，否则Grok会逐行匹配，导致堆栈的每一行都无法正确解析。比如：

input {
  file {
    path => "/path/to/your/logs/*.log"
    start_position => "beginning"
    codec => multiline {
      pattern => "^%{TIMESTAMP_ISO8601}"
      negate => true
      what => "previous"
    }
  }
}

这个配置会把不以时间戳开头的行（也就是堆栈的后续行）合并到上一个时间戳开头的事件中，确保整个堆栈是一个完整的日志事件。

内容的提问来源于stack exchange，提问作者user84592