Elasticsearch 8.7.1：聚合前排序并按cId去重的问题

先明确问题场景 #

示例文档 #

[
  {
    "cId": "74dc2fff7f4b5635b",
    "date1": "2024-06-01T12:00:00Z",
    "date2": "2024-06-01T12:30:00Z",
    "other_field": "value1"
  },
  {
    "cId": "74dc2fff7f4b5635b",
    "date1": "2024-05-30T10:00:00Z",
    "date2": "2024-05-30T10:15:00Z",
    "other_field": "value2"
  },
  {
    "cId": "abc123",
    "date1": "2024-06-02T09:00:00Z",
    "date2": "2024-06-02T09:45:00Z",
    "other_field": "value3"
  }
]

原有查询的问题 #

Query1（仅排序，返回重复cId）：

{
  "query": { "match_all": {} },
  "sort": [
    { "date1": "desc" },
    { "date2": "desc" }
  ]
}

仅做全局排序，无去重逻辑，会返回同一cId的多条记录。

Query2（聚合但排序错误）：

{
  "size": 0,
  "aggs": {
    "group_by_cid": {
      "terms": {
        "field": "cId"
      },
      "aggs": {
        "latest_record": {
          "top_hits": {
            "size": 1,
            "sort": [
              { "date1": "desc" },
              { "date2": "desc" }
            ]
          }
        }
      }
    }
  }

terms聚合默认按文档计数排序，而非每个cId的最新日期，导致聚合结果顺序不符合需求。

正确解决方案 #

方案1：聚合场景（需统计+按最新日期排序） #

{
  "size": 0,
  "aggs": {
    "group_by_cid": {
      "terms": {
        "field": "cId",
        "order": [
          { "max_date1": "desc" },
          { "max_date2": "desc" }
        ]
      },
      "aggs": {
        "latest_record": {
          "top_hits": {
            "size": 1,
            "sort": [
              { "date1": "desc" },
              { "date2": "desc" }
            ],
            "_source": ["cId", "date1", "date2", "other_field"]
          }
        },
        "max_date1": {
          "max": { "field": "date1" }
        },
        "max_date2": {
          "max": { "field": "date2" }
        }
      }
    }
  }
}

关键优化：

• 新增max_date1/max_date2聚合，让terms聚合可以基于每个cId的最新日期值排序
• top_hits子聚合确保每个cId只保留最新的一条记录，实现去重
• terms聚合的order字段指定按最新日期降序，保证聚合结果顺序符合预期

方案2：文档列表场景（仅需去重后的最新文档） #

如果不需要聚合统计，只是要获取按日期排序、去重cId的文档列表，用collapse字段更高效：

{
  "query": { "match_all": {} },
  "collapse": {
    "field": "cId",
    "inner_hits": {
      "size": 1,
      "sort": [
        { "date1": "desc" },
        { "date2": "desc" }
      ]
    }
  },
  "sort": [
    { "date1": "desc" },
    { "date2": "desc" }
  ],
  "size": 100
}

该方案会返回每个cId的最新记录，且整体按date1/date2降序排列，适合直接获取文档数据的场景。

内容的提问来源于stack exchange，提问作者Amulya M