ElasticSearch技术问询：如何获取每个user_id的最新记录？

问题描述 #

我有一个包含数千条如下格式文档的ElasticSearch索引：

{
  "user_id" : 1234,
  "acc_id" : 4321,
  "type_of_event" : "event",
  "event_label" : "example activity",
  "time_stamp" : 1582720371,
  "event_info" : "example info",
  "time_stamp_string" : "2022-02-26 12:32:51"
}

我需要查询每个user_id对应的最新记录（按time_stamp_string排序）。我尝试了以下查询：

GET my_index/_search
{
  "aggs": {
    "top_id": {
      "max": {
        "field": "user_id"
      }
    }
  }
}

但这个查询没有返回正确结果，得到的是早于最新记录的条目，我搞不懂原因。

问题分析 #

你当前的查询逻辑完全不对：max聚合只是计算了user_id字段的最大值，和"每个用户的最新记录"没有任何关联，自然得不到你想要的结果。

正确解决方案 #

方案1：使用top_hits聚合（推荐） #

通过按user_id分组，再在每个分组内取按时间倒序的第一条记录，这是实现需求的标准方式：

GET my_index/_search
{
  "size": 0, // 无需返回基础搜索结果，只关注聚合数据
  "aggs": {
    "group_by_user": {
      "terms": {
        "field": "user_id",
        "size": 10000 // 如果用户数量超过1万，需调整此值以覆盖所有user_id
      },
      "aggs": {
        "latest_record": {
          "top_hits": {
            "size": 1,
            "sort": [
              {
                "time_stamp_string": {
                  "order": "desc" // 按时间倒序，确保最新记录排在首位
                }
              }
            ]
          }
        }
      }
    }
  }
}

方案2：使用collapse折叠功能 #

如果希望返回结果更贴近普通搜索的格式，而非嵌套聚合结构，可以用collapse：

GET my_index/_search
{
  "collapse": {
    "field": "user_id",
    "inner_hits": {
      "name": "latest_record",
      "size": 1,
      "sort": [{"time_stamp_string": "desc"}]
    }
  },
  "sort": [{"time_stamp_string": "desc"}]
}

关键注意事项 #

• 确保time_stamp_string是date类型，若为text类型会导致排序逻辑混乱。如果字段类型无法修改，建议改用数值型的time_stamp字段排序，结果更可靠。
• 若user_id是字符串类型，必须确保其映射为keyword类型，否则terms聚合会因分词导致分组错误。

内容的提问来源于stack exchange，提问作者Lucas Farias