如何用Elasticsearch提取时间序列中位置变化的记录？

核心方案：使用scripted_metric聚合 #

这是完全在ES端实现需求的最优方式，能遍历排序后的文档，对比当前与前一条的location值，只保留位置发生变化的记录（包括从A→B→A的重复位置，只要是切换回来的就会保留）。

完整请求示例 #

{
  "query": {
    "term": {
      "object_id": "Jeroen"
    }
  },
  "sort": [
    {
      "timevalue": "asc" // 必须按时间升序，保证位置变化的顺序正确
    }
  ],
  "aggs": {
    "location_change_records": {
      "scripted_metric": {
        "init_script": "state.last_loc = null; state.result = [];",
        "map_script": """
          def curr_loc = doc['location'].value;
          // 组装需要保留的字段，可根据实际需求调整
          def curr_doc = [
            'timevalue': doc['timevalue'].value,
            'location': curr_loc,
            'object_id': doc['object_id'].value
          ];
          // 第一条记录直接加入，后续仅加入位置与上一条不同的记录
          if (state.last_loc == null) {
            state.result.add(curr_doc);
          } else if (curr_loc != state.last_loc) {
            state.result.add(curr_doc);
          }
          state.last_loc = curr_loc;
        """,
        "combine_script": "return state.result;",
        "reduce_script": "def final_list = []; for (list in states) { final_list.addAll(list); } return final_list;"
      }
    }
  },
  "size": 0 // 无需返回原始全量文档，仅取聚合结果即可
}

关键说明 #

• 必须先按timevalue排序，确保文档按时间顺序遍历，否则位置变化的判断会出错
• location字段需为keyword类型（或不分词的文本类型），避免分词导致的字符串对比误差
• 脚本会保留所有位置切换节点，比如序列London → New York → New York → Paris → New York会被处理为London, New York, Paris, New York，完全符合你追踪每一次位置变化的需求

1万条数据的性能表现 #

对于1万条量级的数据，这个方案的性能完全达标：

• Painless脚本逻辑简单，仅做字符串对比和数组追加，执行效率极高
• 聚合在分片本地完成，无需跨节点传输大量数据，单请求延迟通常在几百毫秒以内
• 即使数据分布在多个分片，reduce阶段合并结果的开销也可忽略，因为最终结果集远小于原始数据量

替代方案（若不想用聚合） #

如果觉得脚本聚合写起来繁琐，也可以用**滚动搜索（Scroll）**获取所有排序后的文档，再通过script_fields标记位置是否变化，但本质还是需要遍历文档，且需要客户端接收全量数据，不如聚合方案高效。因此更推荐直接用scripted_metric聚合在ES端完成处理。

内容的提问来源于stack exchange，提问作者Fibonacci