You need to enable JavaScript to run this app. 百万级时序数据按时间区间分组查询的最高效实现方法
优惠活动
大模型
产品
解决方案
定价
更多

百万级时序数据按时间区间分组查询的最高效实现方法

时序数据按自定义时间区间分组聚合最优方案

前置优化要求

首先给time_stamp字段创建单键索引,聚合的第一阶段增加$match过滤掉所有不在查询区间范围内的数据,最大化减少后续阶段的处理数据量,这是百万级数据查询效率的核心保障。

方案1:固定间隔规整区间(如每5分钟、每1小时等对齐时间的区间)

如果你需要划分的是等长的、和时间单位对齐的区间,直接使用MongoDB 5.0及以上版本提供的$dateTrunc运算符实现,性能最优:

[
  // 先走索引过滤时间范围
  {
    $match: {
      time_stamp: {
        $gte: ISODate("2024-01-01T00:00:00Z"),
        $lt: ISODate("2024-02-01T00:00:00Z")
      }
    }
  },
  {
    $group: {
      _id: {
        $dateTrunc: {
          date: "$time_stamp",
          unit: "minute", // 可选时间单位:year/month/day/hour/minute/second
          binSize: 10, // 间隔大小,比如这里就是每10分钟一个区间
          timezone: "Asia/Shanghai" // 按需配置时区
        }
      },
      avgSpeed: { $avg: "$speed" },
      avgHeight: { $avg: "$height" }
    }
  }
]

方案2:非固定自定义区间

如果你需要划分的是任意长度的自定义区间,直接使用MongoDB 3.4及以上版本提供的$bucket聚合运算符即可,完全替代嵌套$cond的实现,没有50个区间的限制,性能远高于嵌套$cond的方案:

[
  // 先走索引过滤时间范围,范围覆盖所有自定义区间的最小到最大边界
  {
    $match: {
      time_stamp: {
        $gte: ISODate("2024-01-01T00:00:00Z"),
        $lt: ISODate("2024-01-10T00:00:00Z")
      }
    }
  },
  {
    $bucket: {
      groupBy: "$time_stamp",
      // 按从小到大顺序排列所有区间的边界值,n个区间对应n+1个边界
      boundaries: [
        ISODate("2024-01-01T00:00:00Z"),
        ISODate("2024-01-02T00:00:00Z"),
        ISODate("2024-01-05T00:00:00Z"),
        ISODate("2024-01-10T00:00:00Z")
      ],
      default: "outOfRange", // 不在边界范围内的数据归类标识,可按需过滤
      output: {
        avgSpeed: { $avg: "$speed" },
        avgHeight: { $avg: "$height" },
        docCount: { $sum: 1 } // 可选,统计单区间内的文档数量
      }
    }
  }
]

低版本兼容方案

如果使用的MongoDB版本低于3.4,无法使用$bucket,可以用$switch运算符替代嵌套$cond,代码可维护性更高,性能也略优于多层$cond嵌套。

内容的提问来源于stack exchange,提问作者jonasclark

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.19 05:36:04