Logstash Pipeline在Kibana中不显示但日志显示运行正常的问题

以下是针对问题的逐步排查方向：

1. 验证Elasticsearch与Logstash的安全认证配置 #

Elasticsearch 8.x默认强制开启安全功能（身份认证+SSL加密），而7.x版本通常未启用相关配置，这是升级后最常见的适配问题：

• 检查Logstash配置文件的output.elasticsearch段，确认是否正确配置user、password参数，且与Elasticsearch的elastic用户密码（或专用Logstash用户密码）一致。
• 若启用SSL（默认开启），需添加ssl_enabled => true；使用ES自签证书时，需配置cacert => "/path/to/ca.crt"（需将ES的CA证书挂载到Logstash容器对应路径），或临时添加ssl_verification_mode => "none"（仅用于测试，生产环境不推荐）。

2. 确认Logstash实际读取并处理了日志文件 #

Pipeline启动不代表数据被正常读取：

• 查看Logstash容器详细日志，执行命令：docker exec -it <logstash-container-id> cat /usr/share/logstash/logs/logstash-plain.log，搜索是否有Successfully opened file（确认文件被打开）或Processing line（确认数据被处理）的记录，同时排查是否存在权限报错（如无法读取挂载的日志文件）。
• Logstash的file插件通过.sincedb文件记录读取位置，升级后可能因路径或权限问题导致插件误判日志已读取完毕。可删除容器内的.sincedb文件（路径通常为/usr/share/logstash/data/plugins/inputs/file/.sincedb_*），重启Logstash容器重试。

3. 检查Elasticsearch是否已接收数据（排除Kibana显示问题） #

有时索引已创建但Kibana未自动识别：

• 通过Elasticsearch API直接查看索引列表，执行命令：curl -u elastic:<your-es-password> https://<es-host>:9200/_cat/indices?v（容器网络内可直接用ES容器名作为host）。若能看到Logstash输出的索引（如默认logstash-*前缀索引），说明数据已同步到ES，问题出在Kibana：需手动创建索引模式，或检查Kibana「数据->索引管理」是否开启自动索引模式创建。

4. 排查Logstash输出配置的正确性 #

• 检查Logstash配置的output.elasticsearch段，确认index参数拼写正确，无错误的条件判断导致数据未输出。
• Elasticsearch 8.x对数据流（Data Stream）支持更完善，若配置了data_stream => true，需确保索引名称符合数据流命名规则，否则会导致写入失败。

5. 验证容器间网络连通性 #

确认Logstash容器能正常连接到Elasticsearch容器：

• 在Logstash容器内执行curl -u elastic:<your-es-password> https://<es-container-name>:9200，测试是否能返回Elasticsearch节点信息。若出现SSL证书错误，需调整Logstash的SSL配置；若出现认证失败，需检查密码匹配性。

6. 查看Elasticsearch日志排查权限或写入错误 #

• 查看Elasticsearch容器日志：docker logs <es-container-id>，搜索是否存在authentication failed（认证失败）、index creation denied（索引创建权限不足）等错误。若存在权限问题，需为Logstash使用的用户分配create_index、write等必要权限。

内容的提问来源于stack exchange，提问作者Linux Dev