Kibana仪表板次日数据计数异常，请求技术支持

1. 检查Kibana索引模式的时间字段配置 #

• 确认索引模式关联的时间字段与数据中的时间字段完全匹配，避免因时间字段解析错误导致数据范围误判。
• 核对索引模式中时间字段的格式，确保和Elasticsearch存储的时间格式一致（如yyyy-MM-dd'T'HH:mm:ss.SSSZ这类标准格式）。

2. 验证Kibana可视化的聚合逻辑 #

• 打开热力图编辑界面，检查聚合设置：
  • 确认分组字段（X/Y轴字段）的映射类型，若字段为text而非keyword，会因分词导致聚合拆分出额外条目。
  • 检查计数指标的聚合方式，确认是否正确选择了目标字段，而非默认_count可能包含的冗余文档。
• 在Discover中查看异常条目的字段值，排查是否存在空格、特殊字符、大小写不一致等格式问题，这类情况会引发聚合分组错误。

3. 检查Elasticsearch索引的文档重复性 #

• 执行以下命令排查是否存在重复文档（替换唯一标识字段）：

  GET /index_visitor_analytics_view_demo_server/_search
  {
    "size": 0,
    "aggs": {
      "duplicate_check": {
        "terms": {
          "field": "唯一标识字段.keyword",
          "min_doc_count": 2
        }
      }
    }
  }
  

• 若存在重复文档，排查Logstash是否重复写入，比如输入源重复读取、persistent_queue配置导致的重复发送问题。

4. 清理Kibana缓存与刷新索引 #

• 进入Stack Management > Index Patterns，找到对应索引模式点击Refresh field list手动刷新字段列表。
• 清除浏览器缓存或使用无痕模式打开仪表板，排除前端缓存导致的旧数据展示。
• 确认Elasticsearch索引的刷新间隔设置，避免因刷新策略导致的数据展示延迟。

5. 排查Logstash数据写入逻辑 #

• 检查Logstash输出配置，确认是否存在重复输出逻辑，比如同时写入多个索引、条件判断错误导致额外文档写入。
• 查看Logstash日志（/var/log/logstash/logstash-plain.log），排查是否有异常写入记录，比如重复事件ID或不符合预期的文档内容。

6. 核对数据库视图与ES索引的数据一致性 #

• 导出数据库视图全量数据，与Elasticsearch索引全量数据对比，定位Kibana中出现的异常条目来源：
  • 是否为Logstash从其他数据源读取的额外数据？
  • 是否为Elasticsearch索引中的历史遗留测试数据？若存在，清理后重新同步数据。

内容的提问来源于stack exchange，提问作者Swathi