Elasticsearch字段去重统计时_count接口使用聚合报错如何解决？

你遇到的报错是因为Elasticsearch的_count接口定位为仅统计匹配查询条件的文档总数量，不支持size、aggs等聚合、分页类参数，所以传入这类参数时会直接触发参数解析异常，该接口本身无法实现去重统计的需求。

方案1：使用_search接口+cardinality聚合（推荐） #

如果仅需要获取指定字段的去重后总数量，不需要返回所有唯一值，直接使用cardinality聚合即可，性能远高于terms聚合遍历桶统计的方式：

POST myIndex/_search
{
  "size": 0,
  "aggs": {
    "distinct_field_count": {
      "cardinality": {
        "field": "name’s of my field",
        "precision_threshold": 40000
      }
    }
  }
}

参数说明：

• precision_threshold：调整统计精度，取值范围0-40000，取值越高误差越小，字段唯一值低于该参数值时统计误差几乎为0。
• 返回结果中直接读取aggregations.distinct_field_count.value即可拿到去重后的总数量。
• 该方案为近似统计，适合大数据量下可接受低误差的场景，需要100%精确统计可使用方案2。

方案2：保留terms聚合逻辑继续使用_search接口 #

如果你需要100%精确的统计结果，或者需要同时获取所有唯一值和对应出现次数，就继续使用_search接口，不要尝试切换到_count接口。如果需要返回的唯一值数量超过默认的10000上限，可以先修改索引配置调整最大terms返回数：

PUT myIndex/_settings
{
  "index.max_terms_count": 100000
}

再调整terms聚合的size参数为你需要的数值即可，最终返回结果中统计myField聚合下的桶数量就是去重后的总元素数。

方案3：超大规模唯一值场景使用composite聚合分页统计 #

如果字段的唯一值超过百万级别，单次terms聚合会占用过多内存，可以使用composite聚合分页拉取所有唯一值后累加统计总数，避免OOM风险。

内容的提问来源于stack exchange，提问作者s.h.moghaddasi