如何使用MongoDB聚合实现各术语每分钟1小时滑动窗口平均得分统计

当前你需要的是低频批量运行的查询，用于历史种子数据初始化、服务中断后结果恢复，没有高频实时计算的性能压力，完全可以采用MongoDB原生聚合框架的时序窗口能力实现需求，不需要依赖$bucket、MapReduce这类存在明显性能短板的方案。

方案选型对比 #

• 相比$bucket实现：$bucket需要对每个生成的时间桶单独执行一次全范围回溯扫描，当覆盖的分钟点较多时，累计扫描开销会随桶数量线性增长，完全不适合批量初始化的场景。时序窗口聚合仅需单次扫描分区内的全量数据，就能算完所有窗口的结果，总开销仅为一次全量索引扫描的成本。
• 相比MapReduce实现：聚合框架的执行逻辑在内核层完成，没有MapReduce跨进程序列化、JS沙箱的性能损耗，同等数据量下执行速度通常快一个数量级以上，也不需要维护自定义的JS计算逻辑。

实现流程 #

1. 前置范围过滤：先通过$match圈定需要计算的时间范围，避免无意义的全表扫描。需要提前建立{term: 1, created_at: 1}的复合索引，实现整个聚合流程的索引覆盖，减少内存占用。
2. 分钟级数据压缩：对原始文档按「术语 + 截断到分钟的时间戳」做分组聚合，提前计算每个分钟点下、每个术语的原始得分总和、原始文档数，把逐文档的原始数据压缩到逐分钟逐术语的粒度，将后续窗口计算的数据量降低几个数量级。
3. 滑动窗口计算：通过$setWindowFields阶段按术语做数据分区，按分钟时间升序排序，定义「当前分钟点往前回溯60分钟」的滑动窗口，累加窗口内的总得分、总文档数。
4. 结果整理：通过投影阶段计算最终的窗口平均得分，输出为需要的结构。

可直接使用的聚合管道示例 #

db.scores_collection.aggregate([
  // 1. 圈定计算时间范围
  {
    $match: {
      created_at: {
        $gte: ISODate("2021-03-01T00:00:00Z"),
        $lte: ISODate("2021-03-31T23:59:59Z")
      }
    }
  },
  // 2. 按术语+分钟粒度压缩数据
  {
    $group: {
      _id: {
        term: "$term",
        minute_time: {
          $dateTrunc: {
            date: "$created_at",
            unit: "minute"
          }
        }
      },
      minute_score_sum: { $sum: "$score" },
      minute_doc_count: { $sum: 1 }
    }
  },
  // 3. 计算滑动窗口内的累计值
  {
    $setWindowFields: {
      partitionBy: "$_id.term",
      sortBy: { "_id.minute_time": 1 },
      window: {
        range: [-60, 0],
        unit: "minute"
      },
      output: {
        window_total_score: { $sum: "$minute_score_sum" },
        window_total_docs: { $sum: "$minute_doc_count" }
      }
    }
  },
  // 4. 整理为目标输出格式
  {
    $project: {
      _id: 0,
      term: "$_id.term",
      minute_timestamp: "$_id.minute_time",
      hourly_average_score: {
        $cond: {
          if: { $eq: ["$window_total_docs", 0] },
          then: null,
          else: { $divide: ["$window_total_score", "$window_total_docs"] }
        }
      }
    }
  }
])

关键细节说明 #

• 窗口范围完全匹配需求：上述配置的窗口是「当前分钟时间点向前回溯60分钟到当前点的闭区间」，和你定义的「x 到 x-1小时」的统计范围完全一致，不会出现时间边界偏移的问题。
• 计算精度无偏差：窗口内的平均值是基于原始逐文档得分累加计算的，没有直接对每个分钟的得分做平均带来的权重偏差（不同分钟的样本量不同，直接对分钟均值求平均会引入计算误差）。
• 性能足够支撑你的使用场景：经过分钟级压缩后，1个月跨度的单术语数据仅4.32万条，就算有上百个术语，窗口阶段处理的总数据量也仅为百万级，配合索引覆盖的过滤能力，就算跑几个月的历史数据，单节点执行耗时也在秒级。

内容的提问来源于stack exchange，提问作者peteclark3