WSO2 API测试后Kibana无索引数据及历史数据无法访问问题排查

1. Filebeat采集环节出问题 #

• 核对Filebeat的inputs配置，确认是否准确指向WSO2 AM的日志目录：WSO2 AM 4.1.0的核心API日志默认在<WSO2_HOME>/repository/logs/wso2carbon.log，还有专门的api-manager.log，要确保Filebeat监听了这些文件，路径无拼写错误。
• 检查Filebeat是否有权限读取WSO2的日志文件，尤其是Linux环境下，Filebeat运行用户（通常是filebeat）需对WSO2日志目录拥有读权限，否则无法获取日志数据。
• 查看Filebeat日志（默认路径：<FILEBEAT_HOME>/logs/filebeat），排查是否存在permission denied或file not found类错误，同时确认是否有数据发送成功的记录。

2. Logstash处理/传输环节异常 #

• 检查Logstash的输入插件配置，确认是否正确接收Filebeat的数据：Logstash 8.x默认使用beats输入插件，需确保默认端口5044未被占用，且Filebeat的output.logstash配置中的主机、端口与Logstash一致。
• 查看Logstash的管道配置，排查是否存在错误的过滤规则导致数据被丢弃——比如误加了drop过滤器，或字段匹配错误导致数据未被正确处理。可临时注释过滤规则，测试数据能否正常流入Elasticsearch。
• 核对Logstash的输出插件配置，确认是否正确指向Elasticsearch 8.6.1的地址，且认证信息（用户名/密码或API密钥）正确。Elasticsearch 8.x默认开启安全认证，Logstash无正确认证参数则无法写入数据。
• 查看Logstash日志（<LOGSTASH_HOME>/logs/logstash-plain.log），查找是否有连接Elasticsearch失败、认证错误或数据处理异常的记录。

3. Elasticsearch索引/权限配置问题 #

• 确认Elasticsearch中是否存在对应索引，执行命令curl -u <username>:<password> https://<ES_HOST>:<ES_PORT>/_cat/indices?v查看索引列表，检查是否有Logstash配置中指定的索引（如logstash-*）。
• 检查Elasticsearch的安全权限配置，确保Logstash用户拥有创建索引、写入数据的权限——Elasticsearch 8.x的角色权限需明确分配，若缺少create_index或write权限，数据无法写入。
• 验证Elasticsearch的索引模板是否正确，确保Logstash创建的索引符合Kibana的索引模式要求，若字段映射错误，Kibana可能无法识别数据。

4. Kibana索引模式/数据视图配置错误 #

• 检查Kibana中是否创建了正确的索引模式，且该模式需匹配Elasticsearch中的实际索引名称——比如Logstash写入的是wso2-api-*，Kibana的索引模式需设置为对应规则。
• 确认索引模式的时间字段配置正确，Kibana默认依赖时间字段展示历史数据，若未指定正确的时间字段（如@timestamp），数据无法在时间轴上显示，看起来如同无数据。
• 检查Kibana的数据视图是否关联了正确的索引模式，是否添加了错误的过滤条件导致数据被隐藏。

5. WSO2 AM日志输出异常 #

• 确认WSO2 AM是否输出了对应的日志：手动测试API后，查看api-manager.log或wso2carbon.log，检查是否有对应的请求记录，若WSO2本身未生成日志，后续环节无法获取数据。
• 检查WSO2的日志格式是否符合Logstash的解析规则，若自定义修改了WSO2的日志格式，但未同步调整Logstash的过滤规则，会导致数据解析失败，最终被丢弃或无法识别。

内容的提问来源于stack exchange，提问作者manar