百万级时序数据按时间区间分组查询的最高效实现方法
时序数据按自定义时间区间分组聚合最优方案
前置优化要求
首先给time_stamp字段创建单键索引,聚合的第一阶段增加$match过滤掉所有不在查询区间范围内的数据,最大化减少后续阶段的处理数据量,这是百万级数据查询效率的核心保障。
方案1:固定间隔规整区间(如每5分钟、每1小时等对齐时间的区间)
如果你需要划分的是等长的、和时间单位对齐的区间,直接使用MongoDB 5.0及以上版本提供的$dateTrunc运算符实现,性能最优:
[ // 先走索引过滤时间范围 { $match: { time_stamp: { $gte: ISODate("2024-01-01T00:00:00Z"), $lt: ISODate("2024-02-01T00:00:00Z") } } }, { $group: { _id: { $dateTrunc: { date: "$time_stamp", unit: "minute", // 可选时间单位:year/month/day/hour/minute/second binSize: 10, // 间隔大小,比如这里就是每10分钟一个区间 timezone: "Asia/Shanghai" // 按需配置时区 } }, avgSpeed: { $avg: "$speed" }, avgHeight: { $avg: "$height" } } } ]
方案2:非固定自定义区间
如果你需要划分的是任意长度的自定义区间,直接使用MongoDB 3.4及以上版本提供的$bucket聚合运算符即可,完全替代嵌套$cond的实现,没有50个区间的限制,性能远高于嵌套$cond的方案:
[ // 先走索引过滤时间范围,范围覆盖所有自定义区间的最小到最大边界 { $match: { time_stamp: { $gte: ISODate("2024-01-01T00:00:00Z"), $lt: ISODate("2024-01-10T00:00:00Z") } } }, { $bucket: { groupBy: "$time_stamp", // 按从小到大顺序排列所有区间的边界值,n个区间对应n+1个边界 boundaries: [ ISODate("2024-01-01T00:00:00Z"), ISODate("2024-01-02T00:00:00Z"), ISODate("2024-01-05T00:00:00Z"), ISODate("2024-01-10T00:00:00Z") ], default: "outOfRange", // 不在边界范围内的数据归类标识,可按需过滤 output: { avgSpeed: { $avg: "$speed" }, avgHeight: { $avg: "$height" }, docCount: { $sum: 1 } // 可选,统计单区间内的文档数量 } } } ]
低版本兼容方案
如果使用的MongoDB版本低于3.4,无法使用$bucket,可以用$switch运算符替代嵌套$cond,代码可维护性更高,性能也略优于多层$cond嵌套。
内容的提问来源于stack exchange,提问作者jonasclark
相关产品推荐
相关产品推荐

