Elasticsearch集群重启后索引搜索计数重置，如何获取创建以来总搜索量？

核心问题说明 #

你通过GET /_stats?filter_path=indices.my_index.primaries.search.query_total获取的query_total是Elasticsearch在内存中维护的实时统计指标，不会持久化到磁盘。不管是集群重启、索引关闭后重新打开，该值都会被重置为0——这是ES的设计逻辑，这类指标用于监控集群当前运行状态，而非长期存储的累计数据。

获取自创建以来总搜索数的可行方案 #

1. 定时导出统计值并累加 #

编写脚本（Shell、Python等）定期调用_stats接口获取当前query_total，将其与外部存储（如本地文件、关系型数据库）中保存的累计值计算更新：

• 示例Shell脚本逻辑（依赖curl和jq）：

  # 获取当前索引搜索数
  CURRENT_COUNT=$(curl -s -X GET "http://your-es-host:9200/_stats?filter_path=indices.my_index.primaries.search.query_total" | jq '.indices.my_index.primaries.search.query_total')
  # 读取之前的累计值（文件不存在则初始化为0）
  LAST_TOTAL=$(cat search_total.txt 2>/dev/null || echo 0)
  # 处理重启后重置的情况：当前值小于上次记录则差值为当前值，否则为当前值减上次记录
  if [ $CURRENT_COUNT -lt $LAST_TOTAL ]; then
      DIFF=$CURRENT_COUNT
  else
      DIFF=$((CURRENT_COUNT - LAST_TOTAL))
  fi
  # 更新累计值并保存
  NEW_TOTAL=$((LAST_TOTAL + DIFF))
  echo $NEW_TOTAL > search_total.txt
  echo $CURRENT_COUNT > last_current.txt
  

• 搭配定时任务（如Linux的cron）定期执行脚本，确保统计数据持续累加。

2. 利用Metricbeat采集监控数据 #

部署Metricbeat并配置ES模块，采集索引的query_total指标并存储到ES的监控索引中：

• Metricbeat会定期抓取统计数据并持久化到监控索引，即使集群重启，历史采集的指标依然保留。
• 后续可通过Kibana可视化面板或编写DSL查询，聚合所有历史query_total的增量，计算出自索引创建以来的总搜索数。

3. 自定义统计索引存储增量 #

创建专门的统计索引（如index_search_metrics），每次获取_stats的当前值后，计算与上次记录的差值，将增量以文档形式写入该索引：

• 示例DSL写入增量：

  POST index_search_metrics/_doc
  {
    "index_name": "my_index",
    "search_increment": 1200,
    "record_time": "2024-05-20T10:30:00Z"
  }
  

• 查询总数时，聚合该索引中所有search_increment的值：

  GET index_search_metrics/_search
  {
    "size": 0,
    "query": {
      "term": {
        "index_name": "my_index"
      }
    },
    "aggs": {
      "total_searches": {
        "sum": {
          "field": "search_increment"
        }
      }
    }
  }
  

相关讨论帖核心内容翻译 #

有用户曾提问“为什么关闭再打开索引会重置索引统计为0”，官方回复明确：Elasticsearch的索引统计数据仅存于内存，索引关闭时相关内存结构会被释放，重新打开时统计值会初始化；集群重启同理。当时给出的方案包括定期导出统计值到外部系统、使用监控工具采集指标，但没有内置的持久化统计方法，这些方案确实存在一定局限性。

内容的提问来源于stack exchange，提问作者Stpete111