Elasticsearch多索引求共有客户ID的高效实现方案咨询

所有计算逻辑均可下推到Elasticsearch侧完成，无需拉取全量交易文档到Python端做交集计算，核心计算基于索引倒排索引完成，比match_all全量拉取的效率高1~2个数量级。

通用高兼容实现方案 #

该方案适配所有支持聚合的Elasticsearch版本，单次查询即可输出同时存在于两个索引的client_id：

• 查询目标直接指定联合索引组index_A,index_B，设置size:0禁止返回任何原始交易文档，仅执行聚合计算
• 基于client_id字段做顶级terms聚合，按客户ID分桶，需确保字段为未分词的keyword类型，否则会出现聚合精度问题
• 每个客户ID分桶下新增两个filter子聚合，分别匹配文档所属索引为index_A、index_B的场景
• 搭配bucket_script管道聚合，过滤出同时命中两个索引匹配规则的客户ID桶，最终返回的桶key就是目标交集客户列表
• 生产环境使用时，根据实际客户总规模调整terms聚合的size、shard_size参数，避免分片数据倾斜导致的聚合漏数

示例查询结构：

POST /index_A,index_B/_search
{
  "size": 0,
  "aggs": {
    "unique_clients": {
      "terms": {
        "field": "client_id",
        "size": 50000,
        "shard_size": 10000
      },
      "aggs": {
        "matched_index_A": {
          "filter": {"term": {"_index": "index_A"}}
        },
        "matched_index_B": {
          "filter": {"term": {"_index": "index_B"}}
        },
        "common_client_filter": {
          "bucket_script": {
            "buckets_path": {
              "countA": "matched_index_A._count",
              "countB": "matched_index_B._count"
            },
            "script": "params.countA > 0 && params.countB > 0"
          }
        }
      }
    }
  }
}

超大规模客户量的优化方案 #

如果两个索引的去重客户ID规模超过十万级，单次terms聚合容易触发Elasticsearch内存阈值，可拆分两步做轻量化拉取：

• 分别对两个索引执行terms聚合，仅拉取每个索引内去重后的全部client_id列表，对比全量交易数据，数据量仅为原规模的几十分之一
• 在Python端对两个去重后的ID列表计算交集，整体传输和计算开销远低于全量拉取交易文档
• 客户量百万级以上时，可搭配composite聚合做分页拉取，避免单次聚合的内存压力

注意事项：如果索引内存在同一client_id的多条交易记录，上述方案会自动基于倒排索引完成去重，无需额外做重复值过滤。

内容的提问来源于stack exchange，提问作者Oria Gruber