Logstash解析Tomcat堆栈跟踪失败问题求助

你的问题核心出在Multiline codec的配置逻辑反转，导致堆栈跟踪行没有被合并到主日志事件中，反而被当作独立事件触发grok匹配失败。下面是具体的排查和修复步骤：

1. 修正Multiline Codec的核心逻辑 #

当前配置中negate => "true"的设置完全颠倒了预期行为。Multiline的工作逻辑是：

• negate: false（默认）：当行匹配pattern时，将其合并到what指定的事件中
• negate: true：反转匹配规则，不匹配pattern的行才会被合并

你需要把所有匹配JAVA_TRACE的堆栈行合并到前一行主日志里，因此要将negate改为false，保持what => "previous"不变：

tcp{
  port => 12201
  codec => multiline {
    patterns_dir => ["/conf/patterns"]
    pattern => "^%{JAVA_TRACE}"
    negate => false  # 改为false：匹配堆栈行时合并到前一行
    what => "previous"
  }
}

2. 优化Grok匹配规则适配多行日志 #

你的现有grok规则只匹配了日期、时间和日志级别，没有覆盖完整的日志头部结构（比如Logger名称），而且合并后的多行日志需要确保grok只解析第一行的结构化内容，剩余堆栈跟踪保留在消息中。调整grok配置如下：

filter{
  grok{
    patterns_dir => ["/conf/patterns"]
    # 提取结构化字段，剩余内容（含堆栈）存入message字段
    match => {
      message => "^%{DATE_EU:date} %{TIME:time} %{LOGLEVEL:loglevel} \[%{DATA:logger}\] %{GREEDYDATA:message}"
    }
    tag_on_failure => ["failed"]
  }
}

说明：GREEDYDATA会匹配到行末（包括后续换行和堆栈内容），这样合并后的完整日志会保留在message字段中，同时成功提取出date、time、loglevel、logger等结构化字段。

3. 验证Syslog-NG的日志传输完整性 #

确保syslog-ng正确传递了完整的多行日志：

• 你的template no_header配置使用"$MSG\n"且template_escape(no)，这个设置是正确的，不会转义换行符
• 可以临时在Logstash的output中添加stdout { codec => rubydebug }，查看接收到的原始message是否包含完整的堆栈换行，确认传输环节没有丢失或截断日志

4. 测试验证 #

修改配置后重启Logstash和syslog-ng，发送带堆栈跟踪的Tomcat日志，检查Elasticsearch的tomcat_misc索引：

• 堆栈跟踪会被合并到对应的主日志事件中，不会再出现标记failed的独立堆栈事件
• 所有结构化字段应正确提取，message字段包含完整的日志内容和堆栈信息

内容的提问来源于stack exchange，提问作者agentn