如何在Elasticsearch/OpenSearch中获取唯一id+name字段并全局按name排序？

要实现等价于SELECT DISTINCT id, name FROM abc ORDER BY name desc的查询，核心是获取唯一的(id, name)组合并按name降序排列，以下是两种最优实现方式，根据数据量选择：

1. 小数据量场景（唯一id数量≤10000） #

使用terms聚合结合top_hits，高效获取唯一id及对应name，同时按name降序排序：

{
  "size": 0, // 不返回原始文档，仅输出聚合结果
  "aggs": {
    "unique_id_name": {
      "terms": {
        "field": "id", // 按id分组确保唯一性
        "size": 10000, // 调整为实际唯一id的数量，避免结果截断
        "order": {
          "top_name": "desc" // 按name降序排序聚合结果
        }
      },
      "aggs": {
        "top_name": {
          "top_hits": {
            "size": 1,
            "_source": ["name"], // 仅返回所需的name字段
            "sort": [{"name": "desc"}] // 若同一id对应多个name，取降序排列的第一个（可按需调整规则）
          }
        }
      }
    }
  }
}

2. 大数据量场景（唯一id数量>10000） #

terms聚合存在结果上限，此时用composite聚合支持分页查询，同时保证按name降序排列：

{
  "size": 0,
  "aggs": {
    "unique_id_name_pairs": {
      "composite": {
        "size": 1000, // 每页返回的结果数
        "sources": [
          {"name": {"terms": {"field": "name.keyword", "order": "desc"}}}, // 优先按name降序排序
          {"id": {"terms": {"field": "id"}}} // 再按id维度去重
        ]
      }
    }
  }
}

关键注意事项 #

• 字段类型要求：id和name必须是可聚合类型（如keyword、数值类型）。若name是text类型，需使用其keyword子字段（如name.keyword）进行聚合和排序。
• 多name对应同一id的处理：若存在同一id对应多个name的情况，可通过调整top_hits的排序规则，指定取最新、最大或最小的name值。
• 分页遍历：使用composite聚合时，可通过after参数传递上一页的最后一组值，实现全量结果的分页遍历。

内容的提问来源于stack exchange，提问作者Umang Kamdar