MongoDB百万级数据高效过滤与分页实现方案咨询

一、先解决你Aggregate中Regex无结果的问题 #

你之前的Aggregate写法只针对description做匹配，未包含$or逻辑，和paginator里的查询条件不一致，所以没拿到预期结果。正确的Aggregate匹配条件应该和find保持一致：

const filter = req.params.filter;
const regex = new RegExp(filter, 'i');

// 正确的Aggregate匹配阶段
ServiceClass.aggregate([
  {
    $match: {
      $or: [
        { code: { $regex: regex } },
        { description: { $regex: regex } }
      ]
    }
  },
  // 后续分页阶段
  { $sort: { _id: 1 } }, // 用唯一排序字段，比如_id或code
  { $limit: pageSize }
])

二、核心优化：让查询走索引，避免全表扫描 #

你的问题核心是过滤时触发全表扫描导致25秒延迟，必须让查询利用现有索引：

• 前缀匹配优化：如果业务允许只匹配前缀（比如搜索"abc"仅查找以abc开头的内容），把regex改成前缀匹配new RegExp(^${filter}, 'i')，这样MongoDB能直接使用code的唯一索引和description的普通索引，查询速度会大幅提升。
• 文本索引替代Regex：如果必须做包含匹配（比如搜索"abc"查找任何包含abc的内容），给code和description创建复合文本索引：

  // 在Schema中创建文本索引
  ServiceClassSchema.index({ code: 'text', description: 'text' });
  

  然后用$text查询替代Regex，这比无索引的Regex快几个数量级：

  ServiceClass.aggregate([
    {
      $match: {
        $text: { $search: filter }
      }
    },
    { $sort: { score: { $meta: "textScore" } } }, // 按匹配度排序
    { $limit: pageSize }
  ])
  

三、高效分页：抛弃skip，用范围查询 #

百万级数据下skip会严重拖慢性能，因为MongoDB需要遍历跳过所有前面的文档。改用基于最后一条数据标记的范围分页：

1. 前端每次请求除了pageSize，还要带上上次返回的最后一条文档的_id（或者code，因为code是唯一的）。
2. 查询时用_id或code做范围过滤，代替skip：

const pageSize = +req.query.pagesize;
const lastId = req.query.lastId; // 上次返回的最后一条文档的_id
const filter = req.params.filter;
const regex = new RegExp(`^${filter}`, 'i'); // 前缀匹配走索引

let matchCondition = {
  $or: [
    { code: { $regex: regex } },
    { description: { $regex: regex } }
  ]
};

// 如果有lastId，添加范围条件
if (lastId) {
  matchCondition._id = { $gt: ObjectId(lastId) };
}

ServiceClass.find(matchCondition)
  .sort({ _id: 1 })
  .limit(pageSize)
  .then(documents => {
    res.status(200).json({
      message: msgGettingRecordsSuccess,
      serviceClasses: documents,
      lastId: documents.length > 0 ? documents[documents.length - 1]._id : null
    });
  })

如果用Aggregate，逻辑一致：

ServiceClass.aggregate([
  { $match: matchCondition },
  { $sort: { _id: 1 } },
  { $limit: pageSize }
])

四、最终最优方案选择 #

• 如果业务允许前缀匹配：用前缀Regex + 范围分页，完全利用现有索引，速度能降到毫秒级。
• 如果必须包含匹配：用复合文本索引 + $text查询 + 范围分页，性能比无索引Regex提升100倍以上。
• 尽量避免使用mongoose paginator这类封装工具，自己实现基于Aggregate或find的范围分页，更可控。

内容的提问来源于stack exchange，提问作者Hikaros