如何高效获取关联至少两个不同另一字段值的字段唯一值？

核心实现方式：Elasticsearch聚合查询 #

直接利用Elasticsearch的聚合功能在服务端完成统计和过滤，是最高效的方式，无需客户端拉取全量数据再处理。核心DSL如下：

{
  "size": 0,
  "aggs": {
    "buyer_groups": {
      "terms": {
        "field": "buyer_name",
        "size": 10000  // 根据需求调整，若需全量结果后续用分页聚合
      },
      "aggs": {
        "distinct_books_count": {
          "cardinality": {
            "field": "book"
          }
        },
        "filter_buyers": {
          "bucket_selector": {
            "buckets_path": {
              "bookCount": "distinct_books_count"
            },
            "script": "params.bookCount >= 2"
          }
        }
      }
    }
  }
}

• size: 0：无需返回原始文档，仅获取聚合结果
• terms聚合：按buyer_name对购书记录分组
• cardinality子聚合：统计每个买家购买的不同书籍数量
• bucket_selector：过滤出购买书籍数量≥2的买家分组

针对数百万级买家的性能优化 #

当存在数百万唯一买家时，需调整配置避免内存溢出、提升处理速度：

• 给buyer_name字段设置eager_global_ordinals: true：提前构建全局序号，大幅缩短terms聚合的执行时间，映射配置示例：

  {
    "mappings": {
      "properties": {
        "buyer_name": {
          "type": "keyword",
          "eager_global_ordinals": true
        },
        "book": {
          "type": "keyword"
        }
      }
    }
  }
  

• 使用Composite聚合分页获取结果：若需返回所有符合条件的买家，terms聚合的size参数无法设置过大（易触发内存溢出），改用Composite聚合可安全分页，示例：

  {
    "size": 0,
    "aggs": {
      "paginated_buyers": {
        "composite": {
          "sources": [
            {"buyer": {"terms": {"field": "buyer_name"}}}
          ],
          "size": 1000
        },
        "aggs": {
          "distinct_books_count": {
            "cardinality": {"field": "book"}
          },
          "filter_buyers": {
            "bucket_selector": {
              "buckets_path": {"bookCount": "distinct_books_count"},
              "script": "params.bookCount >= 2"
            }
          }
        }
      }
    }
  }
  

  每次查询后用返回的after_key作为下一次查询的参数，即可分页遍历所有符合条件的买家。

客户端与异步搜索的可行性 #

• 客户端实现：完全可行。使用Elasticsearch官方客户端（如Java、Python、Go客户端）执行上述聚合查询即可。针对Composite聚合的分页结果，客户端可循环发起请求逐步获取数据，避免一次性加载大量数据导致内存压力。
• 异步搜索（Async Search）：非常适合数百万级买家的场景。当聚合操作耗时较长（如数秒甚至更久），异步搜索可提交查询后立即返回任务ID，客户端后续通过该ID轮询获取结果，避免长时间等待导致连接超时。异步搜索的DSL只需在原查询基础上添加wait_for_completion_timeout参数，示例：

  {
    "wait_for_completion_timeout": "1s",
    "size": 0,
    "aggs": {
      // 同上述聚合逻辑
    }
  }
  

  提交后会返回一个id，之后通过GET /_async_search/<id>即可查询最终结果。

内容的提问来源于stack exchange，提问作者Tzahi T