Kibana已解析数据展示异常 如何排查Logstash索引字段缺失问题

1. 优先校验Kibana索引模式配置 #

• 确认Kibana中已绑定valtest索引的索引模式是否执行过刷新字段列表操作：Elasticsearch索引新增字段后，Kibana索引模式不会自动同步元数据，默认只保留首次创建时识别的字段列表。操作路径：Stack Management > 索引模式 > 选择对应valtest索引模式 > 点击右上角「刷新字段列表」，刷新后重新查看Discover页面。
• 检查Discover页面的「可用字段」筛选设置：确认未开启「仅显示常用字段」「仅显示存在值的字段」这类筛选开关，部分默认设置会隐藏没有值的字段。

2. 校验Beats到Logstash的数据流完整性 #

• 临时修改Logstash输出配置，在保留ES输出的同时新增stdout输出，打印Beats输入触发的全量事件结构，对比和file输入时的字段差异，确认是否存在Beats侧字段截断、Logstash过滤规则对Beats输入未生效的问题：

output {
  stdout { codec => rubydebug }
  elasticsearch {
    hosts => ["你的ES服务地址"]
    index => "valtest"
  }
}

• 检查Beats侧配置的字段裁剪、drop_fields规则，确认是否在发送前就丢弃了部分解析所需的原始字段，导致Logstash无法生成对应的解析后字段。

3. 校验Elasticsearch索引的实际数据与映射 #

• 直接调用ES查询接口拉取valtest索引的单条原始文档，确认文档本身是否包含全量40个字段，排除Logstash到ES传输过程中字段丢失的问题：
  GET /valtest/_search?size=1
• 检查索引映射（mapping）是否存在字段类型冲突：如果同一字段名在不同文档中写入了不同类型的数据，ES会自动拒绝后续异常类型的字段写入，仅保留首次写入成功的类型对应字段。查询映射命令：
  GET /valtest/_mapping
• 确认是否启用了ES的动态映射严格模式：如果索引模板或动态映射设置为"dynamic": "strict"，所有未提前在mapping中定义的字段都会被拒绝写入。

4. 校验Logstash过滤规则的适配性 #

• 检查Logstash过滤逻辑中是否存在针对输入源的条件判断，比如仅对input.type == "file"的事件执行解析规则，对Beats输入的事件跳过了解析步骤，仅保留了默认字段。
• 确认Beats输入的日志格式、编码和file输入源的日志完全一致，避免因为格式差异导致grok/dissect等解析规则匹配失败，进而生成的字段不全。

内容的提问来源于stack exchange，提问作者vr3w3c9