如何借助Elasticsearch内置功能统计缓存文档的请求命中次数？

针对用Elasticsearch做搜索API缓存、统计文档命中次数的需求，这里有几种比每次命中都显式更新hit_rate字段更优雅的实现方式：

1. 批量异步更新命中计数 #

每次缓存命中时，不要立即更新ES文档，而是将命中的文档ID暂存到轻量队列（如Redis列表）。然后定期执行批量更新任务，用_update_by_query API结合脚本批量递增对应文档的hit_count字段：

POST /cache_index/_update_by_query
{
  "query": {
    "ids": {
      "values": ["doc_id_1", "doc_id_2", ...]
    }
  },
  "script": {
    "source": "ctx._source.hit_count = (ctx._source.hit_count ?: 0) + 1"
  }
}

这种方式大幅减少实时写入ES的请求量，降低高并发场景下的性能开销，同时避免频繁的文档版本冲突。

2. 基于Transform的日志聚合统计 #

如果系统可以记录每次缓存命中的日志（比如写入包含doc_id、hit_time的文档到cache_hit_logs索引），可以用Elasticsearch的Transform功能自动聚合统计：

1. 先给缓存索引添加hit_count字段（无需实时更新）：

PUT /cache_index/_mapping
{
  "properties": {
    "hit_count": {"type": "integer"}
  }
}

2. 创建并启动Transform，定期将日志中的命中记录聚合到缓存文档：

PUT /_transform/hit_count_transform
{
  "source": {
    "index": ["cache_hit_logs"]
  },
  "dest": {
    "index": "cache_index"
  },
  "pivot": {
    "group_by": {
      "doc_id": {"terms": {"field": "doc_id"}}
    },
    "aggregations": {
      "total_hits": {"value_count": {"field": "hit_time"}}
    }
  },
  "sync": {
    "time": {
      "field": "hit_time",
      "delay": "1h"
    }
  }
}

# 启动Transform
POST /_transform/hit_count_transform/_start

Transform会自动按时间窗口同步命中计数，无需手动编写批量更新逻辑，适合非实时统计场景。

3. Runtime Fields + 外部计数存储 #

如果不想修改缓存索引的mapping，可以用Runtime Fields实时读取外部存储（如Redis）中的命中计数：

1. 在缓存索引中定义Runtime Field：

PUT /cache_index/_mapping
{
  "runtime": {
    "hit_count": {
      "type": "integer",
      "script": {
        "source": "def count = redis.get(ctx._id); return count != null ? Integer.parseInt(count) : 0;"
      }
    }
  }
}

2. 每次缓存命中时，仅更新Redis中对应文档ID的计数（如执行INCR cache:hit:doc_id_1命令）。
   这种方式完全无需修改缓存文档内容，查询时可直接返回hit_count字段，但需要确保ES能访问Redis，且查询会有额外的外部存储调用开销。

关键说明 #

Elasticsearch本身没有内置的文档级命中次数统计功能，所有方案都需要先捕获缓存命中事件，再进行后续统计处理：

• 若对实时性要求不高，方案1和方案2是更优选择，能平衡性能与实现复杂度；
• 若必须完全避免修改原索引mapping，方案3可以满足需求，但需依赖外部存储。

内容的提问来源于stack exchange，提问作者Nick Zorander