MongoDB分页时基于唯一字段获取数据的实现方案

现有如下MongoDB文档：

{"_id": "anyID0", "contentID": "content1", "value": "any value", "at": 10} 
{"_id": "anyID1", "contentID": "content1", "value": "any value", "at": 9} 
{"_id": "anyID2", "contentID": "content2", "value": "any value", "at": 8} 
{"_id": "anyID3", "contentID": "content3", "value": "any value", "at": 7}  

需要执行的查询需满足以下要求：

• 通过limit获取指定数量的文档（示例中为2条，实际需求为20条）
• 按at字段降序排序
• 若查询到已出现过的contentID，直接跳过该文档，不计入最终结果

示例：当设置limit(2)时，期望结果为：

{"_id": "anyID0", "contentID": "content1", "value": "any value", "at": 10} 
{"_id": "anyID2", "contentID": "content2", "value": "any value", "at": 8} 

即跳过contentID为content1的anyID1文档。

想明确三个问题：

1. 是否可不使用聚合框架实现该需求？
2. 该方案的性能表现如何？
3. 提供可运行的示例代码。

1. 能否不使用聚合实现？ #

可以，通过客户端侧去重即可实现。核心逻辑是：先按at降序批量查询足够多的文档（数量需大于最终目标的20条，避免去重后结果不足），然后在客户端遍历这些文档，用集合记录已出现的contentID，只保留首次出现的文档，直到收集到20条为止。

2. 性能表现分析 #

• 优势：实现逻辑简单，无需编写复杂的聚合管道，适合数据量较小或contentID重复率极低的场景。
• 劣势：
  • 需要提前查询更多文档（比如单次查询50条），如果contentID重复率很高，可能需要多次查询才能凑够20条，会增加数据库查询次数和网络IO开销。
  • 去重逻辑在客户端执行，会占用客户端的内存和计算资源，当单次查询的文档量过大时，内存压力会比较明显。
• 对比聚合方案：如果数据库中contentID重复率低，两种方案性能差距不大；但如果重复率高，聚合方案效率更优——因为聚合在数据库端完成去重，减少了传输到客户端的数据量。

3. 示例代码（Node.js MongoDB驱动） #

const { MongoClient } = require('mongodb');

async function getUniqueContent(targetLimit = 20) {
  // 连接数据库
  const client = await MongoClient.connect('mongodb://localhost:27017');
  const db = client.db('your-database-name');
  const collection = db.collection('your-collection-name');

  const seenContentIDs = new Set();
  const finalResult = [];
  let skip = 0;
  const batchSize = 50; // 每次查询的批量大小，可根据重复率调整

  while (finalResult.length < targetLimit) {
    // 按at降序查询批量文档
    const fetchedDocs = await collection.find({})
      .sort({ at: -1 })
      .skip(skip)
      .limit(batchSize)
      .toArray();

    // 没有更多文档可查时终止循环
    if (fetchedDocs.length === 0) break;

    // 遍历文档，去重收集结果
    for (const doc of fetchedDocs) {
      if (!seenContentIDs.has(doc.contentID)) {
        seenContentIDs.add(doc.contentID);
        finalResult.push(doc);
        // 凑够目标数量就停止遍历
        if (finalResult.length === targetLimit) break;
      }
    }

    skip += batchSize;
  }

  await client.close();
  // 确保返回结果不超过目标数量
  return finalResult.slice(0, targetLimit);
}

// 调用示例：获取2条去重后的文档
getUniqueContent(2).then(result => {
  console.log(JSON.stringify(result, null, 2));
});

内容的提问来源于stack exchange，提问作者Tom3652