如何使用服务端Node.js将MongoDB大数据集以JSON格式导入S3？

你遇到的问题核心是传统skip+limit分页模式不适配百万级以上数据量，且大批次limit查询会长时间持有连接，最终导致连接池被占满，可直接采用以下落地解决方案：

1 用范围查询替代skip+limit分页 #

这是性价比最高的优化方案，性能比传统分页高10倍以上，同时从根本上避免连接耗尽问题：

• 核心逻辑：用带索引的唯一键（推荐默认主键_id）作为分页游标，每次查询只取大于上一批最后一个游标值的数据，无需跳过大量已处理记录
• 操作示例：
  1. 先压测确定最优单批次量，推荐设置为1万-2万条，该区间性能与资源占用平衡度最高
  2. 循环拉取代码参考：

  const batchSize = 20000
  let lastCursor = null // 分页游标，存储上一批最后一条数据的_id
  while (true) {
    const query = lastCursor ? { _id: { $gt: lastCursor } } : {}
    const currentBatch = await db.collection.find(query).sort({ _id: 1 }).limit(batchSize)
    if (currentBatch.length === 0) break // 所有数据拉取完成，退出循环
    // 这里写当前批次数据的处理/导入逻辑
    lastCursor = currentBatch[currentBatch.length - 1]._id // 更新游标
  }
  

2 调整连接与游标配置 #

如果确实需要保留原有分页逻辑，可通过参数调整解决连接耗尽问题：

• 上调客户端连接池最大连接数，从默认的100调整到200-500区间，注意不要超过MongoDB服务端的最大连接数上限
• 不要直接设置5万以上的大limit，改为给查询添加batchSize参数，让游标分多批从服务端拉取数据，避免单条查询长时间占用连接
• 每批次数据处理完成后主动调用close()方法释放游标，避免游标泄露占用连接资源

3 全量导出优先用官方工具 #

如果是全量数据导出场景，直接用MongoDB原生mongoexport工具，性能远高于自定义代码查询：

mongoexport --uri="mongodb://你的MongoDB连接地址" --collection=要导出的集合名 --out=导出文件存储路径.json --batchSize=20000

220万条数据用该工具导出通常10分钟内即可完成，无需自行处理分页逻辑，也不会出现连接耗尽问题。

注意事项 #

• 单批次拉取量不要超过3万，超过该阈值后性能提升幅度会大幅下降，反而会因为数据序列化、网络传输占用过多连接资源
• 所有用于分页的字段必须添加索引，否则即使是范围查询也会出现全表扫描，导致性能低下

内容的提问来源于stack exchange，提问作者Kapil Yadav