Grok模式在Logstash匹配成功但Kibana未显示提取字段

问题情况 #

Grok模式已在调试器中测试通过，可成功提取所有字段并生成匹配JSON，但部署Logstash配置后，Kibana Observability/Logs/Stream页面无法看到提取的字段列；左侧搜索栏能找到这些字段，但无对应数据行显示。

配置与日志样本 #

Logstash配置 #

file {
    path => "/mnt/tutorialdata/www1/access.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { 
        "message" => "%{IPORHOST:client} %{USER:ident} %{USER:auth} \[(?<timestamp>%{MONTHDAY}/%{MONTH}/%{YEAR}:%{TIME})\] \"%{WORD:method} %{URIPATHPARAM:request} HTTP %{NUMBER:httpversion}\" %{NUMBER:response} %{NUMBER:bytes} \"%{URI:referrer}\" \"%{GREEDYDATA:agent}\" %{NUMBER:duration}"
    }
  }
  date {
    match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss" ]
  }
}

output {
  elasticsearch {
    user => "logstash_internal"
    password => "${LOGSTASH_INTERNAL_PASSWORD}"
    hosts => "elasticsearch:9200"
  }
}

日志样本 #

209.160.24.63 - - [18/Mar/2024:18:22:16] "GET /oldlink?itemId=EST-6&JSESSIONID=SD0SL6FF7ADFF4953 HTTP 1.1" 200 1748 "http://www.buttercupgames.com/oldlink?itemId=EST-6" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.46 Safari/536.5" 731

排查与解决步骤 #

• 更新Kibana索引模式字段列表

  1. 进入Kibana的「Stack Management」→「Index Patterns」
  2. 找到对应Logstash写入的索引模式
  3. 点击「Refresh field list」刷新字段，之后回到Logs/Stream页面刷新查看

• 手动添加字段到日志流显示列

  1. 在Logs/Stream页面右上角点击「Columns」按钮
  2. 在弹出的字段列表中勾选需要显示的字段（如client、method、response等）
  3. 保存设置后，页面会显示对应字段列

• 验证Logstash实际解析结果
  临时修改Logstash配置，添加stdout输出验证字段是否被正确提取：

  output {
    elasticsearch {
      user => "logstash_internal"
      password => "${LOGSTASH_INTERNAL_PASSWORD}"
      hosts => "elasticsearch:9200"
    }
    stdout { codec => rubydebug }
  }
  

  重启Logstash后查看控制台输出，若没有提取字段，检查：

  • 日志文件路径权限是否允许Logstash读取
  • Logstash日志（如/var/log/logstash/logstash-plain.log）是否有解析错误
  • 实际日志格式是否与调试样本完全一致

• 检查Elasticsearch索引映射
  在Kibana Dev Tools中执行以下命令，确认字段是否存在于索引映射：

  GET /<你的索引名称>/_mapping
  

  若目标字段未出现，说明Logstash未正确写入数据，需排查输出配置或ES连接问题；若字段存在但类型异常，可调整Logstash filter中的字段类型转换，或更新索引模板。

内容的提问来源于stack exchange，提问作者Johnson