ELK Stack配置后Kibana无任何日志显示问题排查求助

核心问题点按优先级排序 #

1. Input段文件读取配置问题（最高概率） #

• 默认读取位置问题：Logstash file插件默认从文件尾部开始读取，仅采集进程启动后新追加的日志内容，不会读取文件中已存在的历史日志。调试阶段可在file配置块中添加start_position => "beginning"强制从文件头开始读取；如果之前启动过Logstash，需要先删除Windows用户目录下生成的.sincedb_*格式的记录文件（这类文件存储了Logstash对每个日志文件的读取偏移量，不删除的话从头读取的配置不会生效）。
• Windows路径兼容性问题：当前配置中使用正斜杠写Windows路径存在兼容风险，建议替换为双反斜杠转义格式，同时确认Logstash运行进程对日志文件、父目录有读取权限。
• Multiline正则匹配偏差：当前multiline规则要求行首直接匹配日期格式，但你提供的样例日志第一行开头存在4个前导空格，会导致多行合并规则判断错误，需要调整正则允许行首存在空白字符。

2. 索引名不匹配问题 #

你在Kibana中创建的是logs-*匹配规则的索引模式，但Logstash的elasticsearch输出插件未自定义索引名时，默认生成的索引格式为logstash-*，和你创建的索引模式完全不匹配，就算日志成功写入ES，Kibana也检索不到。

3. Filter段Grok匹配规则漏洞 #

• 默认LOGLEVEL模式仅匹配无多余空格的日志级别，样例日志中[WARN ]级别后存在空格，会导致Grok匹配失败。
• Grok规则中重复捕获message字段时未配置覆盖，会产生字段冲突。

分步排查流程 #

1. 先观察Logstash启动后的控制台输出：你已经配置了stdout的rubydebug编码器，如果input段正常读到日志，控制台会直接打印解析后的结构化日志内容；如果控制台无任何日志输出，优先排查上述input段的3个问题。
2. 如果控制台能正常输出解析后的日志，手动访问http://localhost:9200/_cat/indices?v检查ES中的索引，确认是否存在Logstash写入的索引，核对索引名和你在Kibana创建的索引模式是否匹配。
3. 确认Kibana索引模式配置时选择的时间字段为@timestamp，检索时选择的时间范围覆盖日志产生的时间。

修正后的完整Logstash配置 #

input {
    file {
        type => "java"
        # Windows路径用双反斜杠，配置从头读取
        path => "C:\\temp\\logs\\application.log"
        start_position => "beginning"
        codec => multiline {
            # 允许行首存在空白字符后再匹配日期开头
            pattern => "^\s*%{MONTHDAY}/%{MONTHNUM}/%{YEAR} %{TIME}.*"
            negate => "true"
            what => "previous"
        }
  }
}

filter {
    grok {  
        match => { "message" => "%{DATE_EU:date} %{TIME:time} %{ISO8601_TIMEZONE:zone} \[%{LOGLEVEL:loglevel}\s*] \[%{DATA:thread}] %{DATA:class} - %{GREEDYDATA:log_message}" }
        add_tag => [ "log" ]
    }
}

output {
    stdout {
        codec => rubydebug
    }
    elasticsearch {
        hosts => ["localhost:9200"]
        # 自定义索引名匹配Kibana的logs-*索引模式
        index => "logs-%{+YYYY.MM.dd}"
    }
}

注意：首次调试完成、确认日志采集正常后，可以把start_position => "beginning"配置删掉，让Logstash恢复从尾部实时采集新日志的默认逻辑，避免每次重启都重复读取全量历史日志。

内容的提问来源于stack exchange，提问作者hell_storm2004