如何提升Mongoexport导出速度？MongoDB大集合导出遇瓶颈

针对你1.3亿条数据的集合用mongoexport单线程导出慢的问题，我结合实战经验给你几个能快速见效的优化方向：

1. 打破单线程限制：并行导出 #

mongoexport默认是单线程运行，完全浪费了服务器的多核性能，这是你导出速度慢的核心原因之一。可以手动拆分数据范围，多进程并行导出：

• 第一步，先获取集合_id的最小和最大值（假设用默认_id作为主键）：

  // 在Mongo Shell中执行
  db.places.find({}, {_id:1}).sort({_id:1}).limit(1)
  db.places.find({}, {_id:1}).sort({_id:-1}).limit(1)
  

• 第二步，根据服务器CPU核心数把_id范围拆分成N段，启动N个mongoexport进程分别导出。比如拆成4段的命令示例：

  # 导出第一段数据
  mongoexport -c places --fields API --uri "mongodb://你的连接地址" --query '{"_id": {"$gte": ObjectId("最小_id"), "$lt": ObjectId("分段1_id")}}' --out part1.json --batchSize 100000
  
  # 导出第二段数据
  mongoexport -c places --fields API --uri "mongodb://你的连接地址" --query '{"_id": {"$gte": ObjectId("分段1_id"), "$lt": ObjectId("分段2_id")}}' --out part2.json --batchSize 100000
  
  # 以此类推完成剩余分段导出
  

• 最后合并所有分段文件：Linux下可以用cat part*.json > full_api_export.json，如果导出时加了--jsonArray参数，记得手动调整数组格式合并。

2. 调整参数减少不必要开销 #

• 增大--batchSize：默认值是1000，你可以根据服务器内存情况调到100000甚至更高，减少客户端与MongoDB的网络往返次数，直接提升吞吐量。
• 连接副本集从节点：在URI中指定读偏好为secondaryPreferred，避免占用主节点资源，同时从节点可能有更充足的读取资源：

  mongoexport -c places --fields API --uri "mongodb://user:pass@host1,host2,host3/your_db?readPreference=secondaryPreferred" --out export.json
  

• 确认字段投影正确：如果API是嵌套在父字段下（比如info.API），一定要写--fields info.API，避免导出整个文档浪费带宽和IO。

3. 用覆盖索引加速扫描 #

你提到CPU不繁忙，大概率是磁盘IO瓶颈。给API字段建一个覆盖索引，让MongoDB直接从索引读取数据，不需要加载完整文档：

// 在Mongo Shell中执行
db.places.createIndex({"API": 1})

建索引可能需要几十分钟，但后续导出速度会有质的提升，磁盘IO压力也会大幅降低。

4. 排查磁盘IO瓶颈 #

如果用的是机械硬盘（HDD），换成SSD能直接把导出速度提升3-5倍；如果已经是SSD，检查磁盘IO使用率，看是否有其他进程在抢占磁盘资源。

备选方案：聚合预处理后导出 #

如果上述方法还不够快，可以先用聚合管道把API字段单独提取出来写入临时集合，再导出这个小集合：

// 在Mongo Shell中执行
db.places.aggregate([
  {$project: {API: 1, _id: 0}}, // 只保留需要的API字段
  {$out: "temp_api_export"} // 写入临时集合
])

之后用mongoexport导出temp_api_export集合，数据量小很多，速度会快不少，缺点是需要额外磁盘空间存储临时集合。

内容的提问来源于stack exchange，提问作者Anatoly Alekseev