优化Node.js中MongoDB的总记录数查询性能

针对3300万条记录的集合，要实现近乎零秒的计数查询，核心思路是尽早过滤数据、最大化利用索引、移除不必要的计算步骤，具体优化如下：

1. 重构日期过滤逻辑，避免字符串转换 #

原查询通过$addFields将日期转为字符串后再匹配，这会导致MongoDB无法利用日期字段的索引，必须逐条处理文档。直接对原始日期字段做范围匹配：

将：

{ $addFields: { MailSentDateByTimeZones_temp: { $dateToString: { format: "%Y-%m-%d", date: "$MailSentDateByTimeZone" } } } },
{ $match: { MailSentDateByTimeZones_temp: { $gte: "2024-01-01", $lte: "2024-03-21" } } }

替换为：

{
  $match: {
    MailSentDateByTimeZone: {
      $gte: new Date("2024-01-01T00:00:00"),
      $lt: new Date("2024-03-22T00:00:00") // 用$lt覆盖2024-03-21全天，避免时间边界问题
    }
  }
}

注意：如果MailSentDateByTimeZone是带时区的日期，需确保转换的起始/结束日期与该时区一致（比如用moment-timezone处理时区转换）。

2. 合并所有过滤条件到首个$match阶段 #

将所有过滤条件（ClientID、UserID、IsSentMail、日期范围）合并到第一个$match，让MongoDB尽早过滤掉无关文档，减少后续阶段的处理量：

{
  $match: {
    ClientID: new ObjectId(ClientID),
    UserID: new ObjectId(UserID),
    IsSentMail: true,
    MailSentDateByTimeZone: {
      $gte: new Date("2024-01-01T00:00:00"),
      $lt: new Date("2024-03-22T00:00:00")
    }
  }
}

3. 优化索引设计 #

创建针对性的复合索引，让MongoDB直接通过索引完成过滤，无需扫描全集合：

对CampaignStepHistory集合创建索引： #

db.CampaignStepHistory.createIndex({
  ClientID: 1,
  UserID: 1,
  IsSentMail: 1,
  MailSentDateByTimeZone: 1
})

• 顺序规则：等值匹配字段在前，范围匹配字段在后，这样MongoDB能快速定位到符合ClientID、UserID、IsSentMail的文档，再通过日期范围进一步过滤。

对campaigns集合创建索引： #

db.campaigns.createIndex({ ClientID: 1, UserID: 1, _id: 1 })

• 用于快速查询指定用户/客户下的所有有效CampaignID。

4. 移除不必要的$lookup和$unwind #

原查询通过$lookup验证CampaignID的有效性，但可以通过预查询有效CampaignID的方式替代，彻底移除这两个高开销阶段：

步骤1：预查询有效CampaignID #

// 快速获取当前用户/客户下的所有CampaignID
const validCampaignIDs = await Campaign.find(
  { ClientID: new ObjectId(ClientID), UserID: new ObjectId(UserID) },
  { _id: 1 }
).lean().map(doc => doc._id);

步骤2：直接用countDocuments计数 #

用countDocuments替代聚合查询，它是MongoDB专门优化的计数API，性能远高于聚合：

const totalRecords = await CampaignStepHistory.countDocuments({
  ClientID: new ObjectId(ClientID),
  UserID: new ObjectId(UserID),
  IsSentMail: true,
  CampaignID: { $in: validCampaignIDs },
  MailSentDateByTimeZone: {
    $gte: new Date("2024-01-01T00:00:00"),
    $lt: new Date("2024-03-22T00:00:00")
  }
});

5. 极端场景优化（若上述仍未达标） #

• 确保索引驻留内存：检查索引大小，保证CampaignStepHistory的复合索引能完全放入MongoDB的内存工作集，避免磁盘IO。
• 分片集群：对CampaignStepHistory按ClientID或UserID分片，将数据分散到多台服务器，实现并行查询。
• 数据预聚合：定期将统计结果缓存到单独的集合（比如按天/用户预存计数），查询时直接读取缓存。

内容的提问来源于stack exchange，提问作者Jayesh Rana