Elasticsearch同一字段值在不同聚合中计数不一致问题

问题场景 #

在同一查询中执行两个terms聚合：

1. 第一个聚合通过include指定统计subject.label为"Buddhist art"的文档数
2. 第二个聚合统计subject.label出现频次最高的5个值的文档数

执行的查询语句：

POST my_index/search
{
  "query": {
    "match_all": {}
  },
  "size": 0,
  "aggs": {
    "selected": {
      "terms": {
        "field": "subject.label",
        "include": [ "Buddhist art" ],
        "order": { "_count": "desc" },
        "size": 5
      }
    },
    "subject": {
      "terms": {
        "field": "subject.label",
        "order": { "_count": "desc" },
        "size": 5
      }
    }
  }
}

返回结果中，第一个聚合显示"Buddhist art"计数为12（准确值），但第二个聚合中该值计数仅为11，与实际文档数不符。

原因解析 #

这是由Elasticsearch terms聚合的近似性机制导致的：

• 带include的聚合：当指定include过滤特定值时，Elasticsearch会在每个分片上精确统计该值的文档数，然后将所有分片的结果汇总，因此得到的是精确计数（12）。
• 普通topN terms聚合：普通terms聚合为了性能优化，采用分阶段统计：
  1. 每个分片先独立统计出自身分片内频次最高的5个值（由size=5指定）
  2. 协调节点将所有分片的top5结果合并，再重新排序得到全局的top5
     此时，如果"Buddhist art"在某个分片内的频次未进入该分片的top5，这个分片上的计数就不会被纳入最终汇总，导致全局计数偏小（这里少了1）。

返回结果中的doc_count_error_upper_bound: 11也印证了这一点——这个值表示当前top5结果中，某个值的真实计数与统计值的最大误差可能达到11，说明统计结果是近似的。

解决方案 #

如果需要在第二个聚合中获得精确的计数，可以采取以下方式：

• 增大size参数：设置一个足够大的size值，确保所有可能的高频值都能被每个分片纳入统计范围
• 调整shard_size参数：指定每个分片返回的结果数量（默认是size * 1.5 + 10），让分片返回更多候选值，减少合并时的遗漏
• 对于特定值的精确统计，优先使用带include的聚合方式

内容的提问来源于stack exchange，提问作者randomDev