MongoDB聚合查询分页返回重复结果问题排查

问题根源 #

当前代码出现分页重复的核心原因是排序不稳定：

• 使用$unwind拆解results数组后，仅通过results.${sortField}排序。如果该字段存在重复值（比如多个子文档的id相同、未设置唯一标识），MongoDB的排序结果不固定，每次查询时相同值的子文档顺序可能随机变化。
• 这种不稳定的排序会导致$skip和$limit每次截取的结果范围错位，最终出现重复或遗漏的分页数据。

另外，原有的总计数逻辑通过$unwind后$count实现，在大数据量下效率较低，不如直接计算数组长度求和高效。

修复方案 #

关键改动点 #

1. 添加稳定排序锚点：在$unwind时保留子文档在原数组中的索引，结合父文档_id和该索引作为排序的兜底字段，确保排序结果绝对唯一且固定。
2. 优化总计数逻辑：避免$unwind操作，直接通过$size计算每个文档的results长度再求和，提升性能。
3. 确保分页逻辑正确生效：在分组前完成分页截取，避免分组后数据结构变化导致分页失效。

修改后的代码 #

async function getAllResults(uid, jobId, page = 1, limit = 10, sortField = 'id', sortOrder = 'asc') {
  const db = await connectToDatabase();
  const resultsCollection = db.collection('results');

  // 优化总计数：直接计算每个文档的results数组长度求和，无需unwind
  const totalCount = await resultsCollection.aggregate([
    { $match: { userId: uid, jobId: jobId } },
    { $project: { resultsCount: { $size: "$results" } } },
    { $group: { _id: null, total: { $sum: "$resultsCount" } } }
  ]).toArray();

  const total = totalCount[0]?.total || 0;
  const pages = limit > 0 ? Math.ceil(total / limit) : 1;

  // 无数据直接返回
  if (total === 0) {
    return { results: [], total: 0, pages: 0 };
  }

  const sortDirection = sortOrder === 'asc' ? 1 : -1;
  const pipeline = [
    { $match: { userId: uid, jobId: jobId } },
    // unwind时保留子文档在原数组的索引，用于稳定排序
    { $unwind: { path: "$results", includeArrayIndex: "resultIndex" } },
    // 排序：先按指定字段，再按父文档_id和子文档索引确保稳定性
    { 
      $sort: {
        [`results.${sortField}`]: sortDirection,
        "_id": 1,
        "resultIndex": 1
      }
    }
  ];

  if (limit > 0) {
    const skip = (page - 1) * limit;
    pipeline.push({ $skip: skip });
    pipeline.push({ $limit: limit });
  }

  // 分组回数组结构
  pipeline.push({
    $group: {
      _id: null,
      results: { $push: "$results" }
    }
  });

  const jobResults = await resultsCollection.aggregate(pipeline).toArray();

  return {
    results: jobResults[0]?.results || [],
    total: total,
    pages: pages
  };
}

方案优势 #

• 稳定分页：通过_id+resultIndex的兜底排序，彻底解决排序不稳定导致的重复问题，即使results.${sortField}有重复值也能保证分页顺序一致。
• 性能优化：总计数逻辑避免了$unwind操作，在大数据量（10k-500k）下能显著降低MongoDB的计算开销。
• 内存友好：所有分页逻辑在数据库层面完成，无需在应用内存中处理全量数据，避免OOM风险。

内容的提问来源于stack exchange，提问作者Joint