Logstash中Grok语法适配问题求助：Filebeat日志解析失败

首先明确：Kibana Grok调试器能正常匹配但Logstash不行，大概率是Logstash接收的日志字段与调试时的原始日志不一致，或是混合格式日志的处理逻辑有误，以下是针对性解决方案：

1. 确认Logstash接收的日志字段 #

Filebeat发送日志到Logstash时，原始日志默认被封装在message字段中，而非直接作为顶层字段。如果你直接在Grok规则里匹配顶层内容，自然无法命中。

• 先通过stdout插件输出日志结构，确认字段：

output {
  stdout { codec => rubydebug }
}

• 调整Grok规则，明确匹配message字段：

filter {
  grok {
    match => { "message" => "%{IP:client_ip}" }
  }
}

2. 处理JSON+字符串混合格式日志 #

因为日志是半结构化（JSON与字符串混合），Filebeat的json输入选项无法完整解析，必须在Logstash中分两步处理：

示例混合日志：{"level":"WARN","time":"2024-05-20"} 188.188.188.188 用户触发异常

配置示例：

filter {
  # 第一步：解析日志中的JSON部分，失败时保留原始日志
  json {
    source => "message"
    skip_on_invalid_json => true
    # 将未解析的原始内容暂存到raw_text字段
    add_field => { "raw_text" => "%{message}" }
  }
  # 第二步：从raw_text字段提取IP
  grok {
    match => { "raw_text" => "%{IP:client_ip}" }
    # 可选：关闭匹配失败时的标签，避免干扰后续处理
    tag_on_failure => []
  }
}

3. 修正Grok规则的转义问题 #

Logstash配置采用Ruby语法，部分特殊字符需要额外转义，而Kibana调试器不需要：

• 日志中的双引号"需转义为\"
• 日志中的反斜杠\需转义为\\

示例：如果日志内容是"client_ip": "188.188.188.188"，对应的Grok规则应为：

grok {
  match => { "message" => "\"client_ip\": \"%{IP:client_ip}\"" }
}

4. 调试技巧 #

• 开启Logstash的Grok调试日志：修改log4j2.properties，设置logger.logstash.filters.grok.level = debug，查看匹配失败的具体原因
• 复制Logstashrubydebug输出的message字段内容到Kibana调试器，确保调试内容与Logstash实际接收的完全一致

内容的提问来源于stack exchange，提问作者RaiZy_Style