Node.js MongoDB批量从DB获取文档（async/await）无限循环问题

问题根源 #

你遇到的无限循环问题，核心是对toArray()方法和batchSize的理解偏差：

• batchSize(10)只是告诉MongoDB服务器每次从数据库返回10条数据到客户端，但它管不住客户端的toArray()方法——这个方法会直接把游标指向的所有匹配文档一次性加载到内存中，完全忽略你设置的批次大小。
• 你的循环逻辑里，每次调用await query.toArray()都会拿到全部17条文档，而在MongoDB 2.2.31对应的旧驱动版本中，query.hasNext()没有正确检测到游标已经被toArray()遍历完毕，导致循环一直判定“还有数据”，进而无限输出17。

正确的分批处理方案 #

方案1：逐文档处理（配合batchSize） #

如果想利用batchSize的分批拉取能力，同时逐文档处理，用next()配合循环是最稳妥的：

const cursor = collection.find({}).batchSize(10);
let processedCount = 0;

while (await cursor.hasNext()) {
  const doc = await cursor.next();
  // 在这里写你的文档处理逻辑
  processedCount++;
  log.info(`已处理第${processedCount}条文档`);
}

方案2：按批次批量处理 #

如果需要每10条一批处理，可以手动攒批次：

const cursor = collection.find({}).batchSize(10);
let currentBatch = [];

while (await cursor.hasNext()) {
  currentBatch.push(await cursor.next());
  
  // 当批次满10条，或者已经是最后一批时，处理批次
  if (currentBatch.length === 10 || !(await cursor.hasNext())) {
    log.info(`处理批次，共${currentBatch.length}条文档`);
    // 这里写批次处理逻辑
    currentBatch = [];
  }
}

方案3：正确使用forEach #

你提到的forEach方法，不要先调用toArray()（否则还是一次性加载所有数据），直接在游标上调用forEach即可：

const cursor = collection.find({}).batchSize(10);

await cursor.forEach(async (doc) => {
  // 单文档处理逻辑
  log.info(`处理文档：${JSON.stringify(doc)}`);
});

⚠️ 注意：如果你的处理逻辑是异步的，要确认你使用的驱动版本支持异步回调的forEach，旧版本可能不支持，这时候建议改用方案1。

内容的提问来源于stack exchange，提问作者Labithiotis