如何在Elasticsearch中精确统计两字段组合的唯一值数量？

针对4000万条数据统计JobId和DesigId组合的精确唯一值数量，以下是几种可行的优化方案：

1. 预计算组合字段（推荐） #

在数据写入Elasticsearch时，直接生成一个包含两个字段组合的新字段（比如job_desig_pair），值格式可以用{JobId}_{DesigId}或其他无冲突分隔符拼接。后续统计唯一值时，可通过两种方式高效实现：

• 利用数据帧转换（Data Frame Transform），定期从原索引同步并去重，将唯一的组合字段存储到新汇总索引中。之后只需执行GET /summary_index/_count查询新索引的文档总数，即可得到精确结果，完全规避实时聚合的性能瓶颈。
• 若为实时写入场景，可通过Ingest Pipeline自动生成组合字段，同时用upsert方式写入汇总索引，确保每个组合仅存储一条文档。

2. 优化Composite聚合参数 #

若必须实时统计，可调整Composite聚合的参数来避免超时：

• 增大size参数（例如设为10000），减少分页次数，降低多次请求的开销。
• 确保JobId和DesigId字段开启doc_values（默认开启，勿手动禁用），Composite聚合依赖该特性提升性能。
• 在请求中设置timeout=300s等更长的超时时间，给聚合足够的计算窗口（前提是集群资源充足）。

3. 客户端侧分批统计 #

使用Scroll API或Search After功能分批遍历所有文档，在客户端维护哈希集合存储JobId+DesigId的组合，最终统计集合的大小。这种方式无需Elasticsearch承担大量聚合计算，但要求客户端有足够内存存储唯一组合，且遍历耗时较长，适合非实时统计需求。

4. Terms聚合结合脚本（慎用） #

通过脚本生成组合键，再用Terms聚合统计桶数：

{
  "size": 0,
  "aggs": {
    "unique_pairs": {
      "terms": {
        "script": "doc['JobId'].value + '_' + doc['DesigId'].value",
        "size": 10000000
      }
    }
  }
}

但该方式会占用大量堆内存，当唯一组合数量极大时易引发OOM，仅适合唯一组合数量较少的场景。

内容的提问来源于stack exchange，提问作者Aman Mehta