Elasticsearch多分片场景terms聚合遗漏重复值的解决方案问询

方案1：使用pipeline聚合全局执行参数（适用于Elasticsearch 7.12及以上版本） #

直接在原有bucket_selector中添加execution_hint: "global"配置，强制桶筛选逻辑仅在协调节点合并完全部分片的聚合结果后再执行，避免分片层提前过滤掉单分片计数低的桶：

{
  "size": 0,
  "aggs": {
    "group_by_bookId": {
      "terms": {
        "field": "bookId.keyword",
        "size": 10000,
        "shard_size": 20000
      },
      "aggs": {
        "having_several": {
          "bucket_selector": {
            "buckets_path": {
              "the_doc_count": "_count"
            },
            "script": "params.the_doc_count > 1",
            "execution_hint": "global"
          }
        }
      }
    }
  }
}

注意：这里额外调大了shard_size参数，保证每个分片会返回足够多的bookId桶到协调节点，避免terms聚合本身的分片截断问题。如果你的不同bookId总数小于10000，shard_size设为10000即可。

方案2：先拉全量桶再做筛选（适用于所有ES版本） #

去掉内层的bucket_selector，先查询拿到所有bookId的总计数，再在业务代码层过滤掉计数<=1的结果：

{
  "size": 0,
  "aggs": {
    "group_by_bookId": {
      "terms": {
        "field": "bookId.keyword",
        "size": 10000,
        "shard_size": 20000
      }
    }
  }
}

如果不同bookId的总数超过10000，不要盲目调大size，改用composite聚合分页滚动拉取全量桶即可：

{
  "size": 0,
  "aggs": {
    "all_book_id": {
      "composite": {
        "size": 1000,
        "sources": [
          {"book_id": {"terms": {"field": "bookId.keyword"}}}
        ]
      }
    }
  }
}

每次查询后用返回的after_key作为下一次请求的after参数，直到拉完所有桶，再自行过滤计数>1的bookId即可。 #

方案3：路由优化（可选长期方案） #

如果这类查询是高频场景，可以在写入文档时指定routing=bookId，保证同一个bookId的所有文档都落在同一个分片上，就不会出现单分片计数不足的问题，原有查询也可以正常返回结果，同时还能提升聚合查询性能。

内容的提问来源于stack exchange，提问作者uou