基于Express和Node.js实现MongoDB高效分页解决方案

针对200万条产品数据的分页场景，skip()+limit()方案在页数增大时性能急剧下降的核心原因是：MongoDB执行skip(N)需要遍历并跳过前N条文档，N越大耗时越长，且无法有效利用索引优势。以下是基于**游标分页（Keyset Pagination）**的优化实现，依托_id的默认索引实现稳定高效的分页。

优化思路 #

放弃skip()，改用上一页最后一条文档的_id作为查询条件，通过_id > lastId直接定位下一页的起始位置，结合limit()获取数据。同时用estimatedDocumentCount()替代countDocuments()计算总数量，避免全集合扫描。

修改后的代码实现 #

app.get('/products', async (req, res) => {
  try {
    const pageSize = parseInt(req.query.pageSize) || 20;
    const lastId = req.query.lastId; // 上一页最后一条文档的_id，首次请求不传

    // 构建查询条件：首次请求无lastId则查全部，否则从lastId之后开始
    let query = lastId ? { _id: { $gt: lastId } } : {};

    // 多查一条数据用于判断是否还有下一页
    const data = await Product.find(query)
      .sort({ _id: 1 })
      .limit(pageSize + 1);

    // 判断是否存在下一页，并移除多查的那条数据
    const hasNextPage = data.length > pageSize;
    if (hasNextPage) data.pop();

    // 快速获取总文档数（基于元数据，无需全表扫描）
    const totalCount = await Product.estimatedDocumentCount();
    const totalPages = Math.ceil(totalCount / pageSize);

    // 传递当前页最后一条的_id给前端，用于下一页请求
    const currentLastId = data.length > 0 ? data[data.length - 1]._id : null;

    res.status(200).render('products', {
      data,
      currPage: req.query.page ? parseInt(req.query.page) : 1,
      totalPages,
      hasNextPage,
      lastId: currentLastId
    });
  } catch (error) {
    console.error(error.message);
    res.status(500).send("Internal Server Error");
  }
});

方案优势 #

1. 性能稳定：依托_id的唯一索引，_id > lastId查询可直接定位起始位置，不会随着页数增加而变慢，响应时间始终保持稳定。
2. 计数高效：estimatedDocumentCount()从集合元数据读取文档数，比countDocuments()快数倍（无过滤场景下可用，若需精确计数可定时缓存结果）。
3. 扩展性强：若后续需切换排序字段，只需确保该字段有索引，修改查询条件即可。

注意事项 #

• 若业务需支持跳转到指定页码，游标分页无法直接实现，可采用折中方案：前100页用skip()+limit()，超过100页则用游标分页；或预先缓存各页码对应的起始_id（维护成本较高）。
• 确保排序字段（此处为_id）是单调递增/递减的，MongoDB的ObjectId默认包含时间戳，天然满足递增要求。

内容的提问来源于stack exchange，提问作者Afridi Khan