如何让MongoDB高效统计特定programId的百万级文档时间分桶计数

问题背景 #

集合结构如下（百万级文档）：

{
  "_id": ObjectId("..."),
  "event_type": "view",
  "programId": "12345",
  "timestamp": ISODate("2024-01-01T00:00:00Z")
}

已单独建立programId和timestamp字段索引，但需要统计指定programId下按天/周/月等时间粒度划分的事件数，现有聚合方案（$dateTrunc+$group、$bucket、$facet多管道）性能均不理想（耗时超1秒），但单个时间分桶的[$match, $count]管道能通过COUNT_SCAN在2毫秒内返回结果，希望在多分桶统计时达到近似性能，且不想引入物化视图。

核心优化方案 #

1. 建立正确的复合索引 #

将原有的单字段索引替换为复合索引，顺序为：

db.collection.createIndex({ programId: 1, timestamp: 1 })

这个索引的作用是：

• 快速定位指定programId的所有文档（前缀匹配）
• 同一programId下的文档已按timestamp有序存储，后续分组统计可直接利用索引的有序性，避免内存排序和全文档加载

2. 优化聚合管道 #

使用$match+$dateTrunc+$group的极简管道，确保MongoDB能利用复合索引实现流式分组：

按天统计示例

db.collection.aggregate([
  // 第一步：精准过滤目标programId，可选添加时间范围进一步缩小数据量
  {
    $match: {
      programId: "你的目标programId",
      timestamp: { 
        $gte: ISODate("2024-01-01T00:00:00Z"), 
        $lte: ISODate("2024-01-31T23:59:59Z") 
      }
    }
  },
  // 第二步：按时间粒度分组统计，unit可替换为week/month/quarter等
  {
    $group: {
      _id: { $dateTrunc: { date: "$timestamp", unit: "day" } },
      count: { $sum: 1 }
    }
  },
  // 可选：按时间排序，因索引有序，此步骤几乎无性能开销
  { $sort: { _id: 1 } }
])

3. 方案高效的原因 #

• $match阶段利用复合索引的programId前缀，快速定位到目标数据，仅扫描匹配的索引条目而非全集合
• MongoDB 7.x支持索引驱动的分组：由于timestamp在复合索引中是有序的，$group阶段无需将所有文档加载到内存，可直接遍历索引流式统计分桶数量，避免大量内存开销
• 执行计划中会显示IXSCAN（索引扫描）+GROUP阶段，totalDocsExamined等于匹配programId的文档数，而非集合总数，耗时可控制在几十毫秒内

原有方案性能差的原因 #

• 单字段索引无法同时满足programId过滤和timestamp有序分组的需求，导致MongoDB需加载大量文档到内存后再分组
• $bucket阶段若未配合正确的复合索引，会触发全集合扫描或低效的索引扫描
• $facet的多子管道相当于多次独立的索引扫描，总耗时是单个管道的累加，无法达到单次聚合的效率

验证执行计划 #

用explain("executionStats")查看管道执行情况，重点关注：

• executionStats.executionTimeMillis：应低于100毫秒
• executionStats.totalDocsExamined：应等于匹配programId的文档数
• executionStats.executionStages.stage：应为IXSCAN后接GROUP

内容的提问来源于stack exchange，提问作者pimanrules