Node.js从MongoDB导出2000万数据：替代Skip&Limit的高效方案

原方案的核心问题 #

• skip性能瓶颈：每次skip(i)都需要数据库扫描并跳过前i条数据，数据量越大，单批次查询耗时越长，总时间呈指数级上升。
• 资源浪费：用Promise.all同时发起所有批次请求，会瞬间给数据库带来巨大连接和查询压力，甚至可能触发限流或超时。
• 依赖预先数据量：硬编码总数据量（20000000），实际数据量变动时会出现漏取或无效查询。

最优替代方案：利用MongoDB游标流式遍历 #

MongoDB驱动的游标会自动后台分批拉取数据（默认批次101条，可通过batchSize调整），无需手动管理skip/limit，也不需要预先知道总数据量，同时配合Node.js流API可以实现低内存占用的高效导出。

方案1：用for await...of异步遍历游标（简洁易维护） #

适合大多数场景，代码直观，内存可控：

const dbInstance = await connectDB();
const collection = dbInstance.db(db).collection(schema);
const fs = require('fs');

console.time('retrievedAllDataset');

// 创建聚合游标，无需skip/limit
const cursor = collection.aggregate(query, { allowDiskUse: true });

// 初始化文件写入流，避免一次性加载所有数据到内存
const writeStream = fs.createWriteStream('./exported-data.json');
writeStream.write('['); // 写入JSON数组开头

let isFirstDoc = true;

try {
  // 异步遍历游标，自动分批拉取数据
  for await (const doc of cursor) {
    if (!isFirstDoc) {
      writeStream.write(','); // 数组元素间添加逗号分隔
    } else {
      isFirstDoc = false;
    }
    writeStream.write(JSON.stringify(doc));
  }
  writeStream.write(']'); // 写入JSON数组结尾
  console.log('数据导出完成');
} catch (err) {
  console.error('导出失败:', err);
} finally {
  writeStream.end();
  console.timeEnd('retrievedAllDataset');
  await dbInstance.close();
}

方案2：用流管道处理（超大数据量最优） #

针对千万级以上数据，用Node.js流管道实现零内存积压的高效导出：

const dbInstance = await connectDB();
const collection = dbInstance.db(db).collection(schema);
const fs = require('fs');
const { Transform } = require('stream');

console.time('retrievedAllDataset');

// 创建流式游标
const cursor = collection.aggregate(query, { allowDiskUse: true }).stream();
const writeStream = fs.createWriteStream('./exported-data.json');

// 自定义转换流，处理JSON数组格式
const jsonTransform = new Transform({
  writableObjectMode: true,
  transform(doc, _, callback) {
    if (!this.isFirst) {
      this.push(',');
    } else {
      this.isFirst = false;
      this.push('[');
    }
    this.push(JSON.stringify(doc));
    callback();
  },
  flush(callback) {
    this.push(']');
    callback();
  }
});
jsonTransform.isFirst = true;

// 管道连接：游标流 → 格式转换 → 文件写入
cursor.pipe(jsonTransform).pipe(writeStream);

// 监听完成/错误事件
writeStream.on('finish', () => {
  console.log('数据导出完成');
  console.timeEnd('retrievedAllDataset');
  dbInstance.close();
});

cursor.on('error', (err) => {
  console.error('游标读取出错:', err);
  writeStream.destroy();
  dbInstance.close();
});

writeStream.on('error', (err) => {
  console.error('文件写入出错:', err);
  cursor.destroy();
  dbInstance.close();
});

额外建议：使用官方mongoexport工具（非Node.js集成场景） #

如果不需要在Node.js应用中集成导出逻辑，直接用MongoDB官方命令行工具mongoexport性能最优，示例：

mongoexport --uri="mongodb://你的数据库地址:端口/数据库名" --collection=集合名 --query='{"你的查询条件"}' --out=导出文件.json

内容的提问来源于stack exchange，提问作者Saber Alex