Logstash中MongoDB慢查询Grok过滤器调试正常部署失败求助

看起来你遇到的核心问题是Logstash配置的语法解析错误——虽然Grok规则在调试器里能正常工作，但部署时因为配置格式问题导致失败。咱们一步步来排查和解决：

错误原因分析 #

从Logstash的错误信息可以看到：

Expected one of [ \t\r\n], "#", [A-Za-z0-9_-], '"', "'", [A-Za-z_], "-", [0-9], "[", "{" at line 26, column 9

这指向两个关键问题：

1. 你的match数组中，最后一个Grok规则后面多了一个冗余逗号，Logstash使用的Ruby语法不允许数组最后一个元素后跟逗号；
2. 配置中match的哈希结构闭合位置不正确，导致解析器无法识别完整的配置结构。

解决方案1：修正Grok配置的语法格式 #

先调整原配置，修正语法错误，让Logstash能正确解析：

filter {
  if [container][image] =~ "mongodb" {
    grok {
      patterns_dir => ["/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns"]
      match => { "message" => [
        '%{GREEDYDATA}:"%{TIMESTAMP_ISO8601:timestamp}%{GREEDYDATA}"s":"%{WORD:severity}",%{SPACE}"c":"%{WORD:component}",%{SPACE}"id":%{NUMBER:id},%{SPACE}"ctx":%{QUOTEDSTRING:context},"msg":%{QUOTEDSTRING:msg},"attr":{"remote":"%{IPV4:client_ip}:%{NUMBER:port}","connectionId":%{NUMBER:connection_id},"connectionCount":%{NUMBER:connection_count}%{GREEDYDATA}'
      ]}
      break_on_match => false
      tag_on_failure => ["failed_match"]
    }
  }
}

关键修改点：

• 移除了Grok规则后面的冗余逗号；
• 确保match的哈希结构正确闭合（把右括号移到数组闭合的后面）。

解决方案2：更高效的JSON解析方案（推荐） #

你的日志是标准的JSON格式，相比用Grok匹配整个字符串，先用json过滤器解析日志，再提取字段会更高效、更稳定，也不容易出现语法问题：

filter {
  if [container][image] =~ "mongodb" {
    # 第一步：解析整个JSON日志
    json {
      source => "message"
    }

    # 第二步：提取并重命名所需字段
    mutate {
      rename => {
        "[t][$date]" => "timestamp"
        "[s]" => "severity"
        "[c]" => "component"
        "[id]" => "id"
        "[ctx]" => "context"
        "[msg]" => "msg"
        "[attr][connectionId]" => "connection_id"
        "[attr][connectionCount]" => "connection_count"
      }
      add_field => { "client_ip_port" => "%{[attr][remote]}" }
    }

    # 第三步：拆分client_ip和port
    grok {
      match => { "client_ip_port" => "%{IPV4:client_ip}:%{NUMBER:port}" }
      tag_on_failure => ["failed_ip_port_split"]
      remove_field => ["client_ip_port"] # 可选：拆分后删除临时字段
    }
  }
}

这个方案的优势：

• JSON解析对结构化日志的兼容性更好，不会因为日志字段顺序小变化导致匹配失败；
• 字段提取更直接，不需要写复杂的Grok规则；
• 性能比Grok匹配整个字符串更高。

内容的提问来源于stack exchange，提问作者Vamshi Siddarth