MongoDB+Node.js Express合并同结构集合并实现分页方案咨询

阿华AIGC实验室

2026-5-12

合并MongoDB两个同结构集合并实现分页（Node.js Express环境）

我来帮你解决这个合并集合并实现分页的问题，结合你之前的单集合分页代码，这里有两种可行的方案，优先推荐数据库层面的聚合方式，效率更高：

推荐方案：使用MongoDB聚合管道（MongoDB 4.4+）

原理说明

MongoDB 4.4及以上版本提供了$unionWith操作符，可以直接在数据库层面合并两个同结构的集合，之后我们就可以像处理单集合一样，依次应用查询条件、排序、分页逻辑。这种方式所有操作都在数据库端完成，避免了将大量数据拉到客户端处理，性能更优。

代码实现

// 定义分页参数和查询条件
const perPage = 10; // 每页展示的数据条数
const page = 1; // 当前页码（建议从1开始计数）
const condition = {}; // 你的查询条件，和之前单集合的condition一致
const sortObject = { name: 1 }; // 排序规则，和之前的sortObject一致

// 执行聚合查询获取分页数据
User.aggregate([
  // 第一步：合并user和user_archive集合
  { $unionWith: { coll: "user_archive" } },
  // 第二步：应用查询过滤条件
  { $match: condition },
  // 第三步：按照指定规则排序
  { $sort: sortObject },
  // 第四步：跳过前面页码的数据（注意page从1开始的话，计算方式是perPage*(page-1)）
  { $skip: perPage * (page - 1) },
  // 第五步：限制返回的条数为每页数量
  { $limit: perPage }
])
.exec(function(err, paginatedData) {
  if (err) {
    return callback(err);
  }

  // 如果需要获取总数据条数（用于计算总页数），需要额外执行一次聚合查询
  User.aggregate([
    { $unionWith: { coll: "user_archive" } },
    { $match: condition },
    { $count: "total" } // 统计符合条件的总文档数
  ]).exec(function(countErr, countResult) {
    if (countErr) {
      return callback(countErr);
    }
    const total = countResult.length > 0 ? countResult[0].total : 0;
    // 返回分页数据和总条数
    callback(null, {
      data: paginatedData,
      total: total,
      currentPage: page,
      perPage: perPage
    });
  });
});

关键注意点

$unionWith仅在MongoDB 4.4及以上版本支持，如果你的数据库版本较低，需要升级或者使用下面的兼容方案。
分页的$skip计算逻辑：如果页码从1开始，公式是perPage * (page - 1)，和你之前单集合的perPage * page不同，这里要注意调整，避免跳过第一页的数据。

兼容低版本MongoDB的方案（客户端合并，不推荐大数据量）

原理说明

如果你的MongoDB版本低于4.4，不支持$unionWith，只能分别查询两个集合，将数据拉到Node.js端后合并，再手动处理排序和分页。但这种方式在数据量大时会占用大量内存，性能很差，仅适合小数据集场景。

代码实现

const getPaginatedMergedData = (callback) => {
  const perPage = 10;
  const page = 1;
  const condition = {};
  const sortObject = { name: 1 };

  // 并行查询两个集合的数据
  Promise.all([
    User.find(condition).sort(sortObject).exec(),
    UserArchive.find(condition).sort(sortObject).exec()
  ])
  .then(([userData, archiveData]) => {
    // 合并两个集合的数据
    let mergedData = [...userData, ...archiveData];

    // 注意：两个集合分别排序后合并，整体顺序可能不符合要求，需要重新排序
    mergedData.sort((a, b) => {
      // 根据sortObject的规则实现排序逻辑，这里以name字段升序/降序为例
      if (sortObject.name === 1) {
        return a.name.localeCompare(b.name);
      } else {
        return b.name.localeCompare(a.name);
      }
    });

    // 计算分页的起始和结束索引
    const startIndex = perPage * (page - 1);
    const endIndex = startIndex + perPage;
    const paginatedData = mergedData.slice(startIndex, endIndex);
    const total = mergedData.length;

    // 返回结果
    callback(null, {
      data: paginatedData,
      total: total,
      currentPage: page,
      perPage: perPage
    });
  })
  .catch(err => {
    callback(err);
  });
};