如何优化含日期统计的MongoDB聚合查询？索引无效该怎么办？

你的聚合查询语句：

db.collection.aggregate([
  { $match: { date: { $gt: before } } },
  {
    $group: {
      _id: "$address",
      count: { $sum: 1 },
    }
  }
])

已创建的索引：

db.collection.createIndex({date: 1, address: 1})

索引未生效的排查与优化 #

首先确认索引是否被实际使用，执行以下命令查看执行计划：

db.collection.aggregate([
  { $match: { date: { $gt: before } } },
  { $group: { _id: "$address", count: { $sum: 1 } } }
]).explain("executionStats")

如果执行计划中stage显示为COLLSCAN（全表扫描），说明索引未生效，可按以下方向排查：

• 字段类型不匹配：检查before变量的类型是否与date字段一致（比如date是ISODate，before却用了字符串），类型不匹配会直接导致索引失效，确保两者类型统一。
• 索引碎片化：若集合有大量删除/更新操作，索引可能产生碎片，可重建索引修复：

  db.collection.reIndex()
  

缩短查询耗时的其他方法 #

• 最大化利用覆盖索引：你创建的{date:1, address:1}已经是覆盖索引（包含查询所需的所有字段），MongoDB可以直接从索引获取数据，无需加载完整文档。确保聚合未引用其他字段，且集合中date和address字段无大量null值（null值会降低覆盖索引的效率）。
• 预聚合结果：如果该查询频繁执行，建议使用物化视图（MongoDB 4.2+支持）或定期预计算结果存入新集合：
  1. 定时执行聚合并将结果写入预聚合集合（比如按天统计）：

     db.collection.aggregate([
       { $match: { date: { $gte: startOfDay, $lt: endOfDay } } },
       { $group: { _id: "$address", count: { $sum: 1 } } },
       { $out: "address_daily_counts" }
     ])
     

  2. 查询时直接读取预聚合集合，完全避免实时计算开销。
• 缩小过滤范围：如果before对应的时间范围过大，返回的文档量过多会导致$group计算耗时剧增。尝试缩小时间窗口，或分批次聚合后合并结果。
• 硬件与配置调优：
  • 增加实例内存，让索引和常用数据缓存到内存中（WiredTiger默认缓存为内存的50%，可根据实际情况调整）。
  • 若为分片集群，检查分片键是否合理，确保查询能路由到指定分片，避免全分片扫描。

Timestamp vs ISODate性能对比 #

MongoDB中Timestamp和ISODate的查询性能几乎无差异：

• ISODate（Date类型）存储为毫秒级UTC时间的64位整数，Timestamp是MongoDB内部用于oplog的特殊类型，同样以64位整数存储。
• 两者的比较操作都是数值级别的对比，性能完全一致。
• 不建议将Timestamp作为业务日期字段使用，它主要用于MongoDB内部的复制和恢复逻辑，维护成本更高。无需为了性能替换ISODate。

内容的提问来源于stack exchange，提问作者pguardiario