MongoDB遍历大集合执行插入脚本速度过慢如何优化
MongoDB大集合跨库迁移脚本调优建议
核心性能瓶颈说明
原脚本存在3个明显的性能缺陷:
- 全量拉取color_Id到客户端内存,数据量过大会导致内存占用过高、查询效率骤降
- $in查询传入超大数组,执行效率极低,超过千级元素后性能会出现断崖式下跌
- 逐行单条插入,网络交互次数和数据库锁开销是批量插入的上千倍
可落地调优方案
- 索引前置创建
先在对应集合创建索引,避免全表扫描:use DB1; db.collection1.createIndex({color_Id: 1}); db.collection2.createIndex({p_color_Id: 1}); - 优先使用数据库端运算代替客户端运算
无需将数据拉到客户端做关联、循环操作,直接用MongoDB聚合能力在数据库层完成所有运算,大幅减少数据传输开销。如果使用MongoDB 4.4及以上版本,可直接用跨库$out实现零客户端数据流转,参考脚本如下:use DB1; db.collection1.aggregate([ { $project: { color_Id: 1, _id: 0 } }, { $lookup: { from: "collection2", localField: "color_Id", foreignField: "p_color_Id", as: "matched_docs" } }, { $unwind: "$matched_docs" }, { $replaceRoot: { newRoot: "$matched_docs" } }, { $out: { db: "DB2", coll: "newCollection" } } ]) - 低版本MongoDB适配方案
如果使用4.4以下版本不支持跨库$out,改用批量插入代替逐行插入,参考脚本如下:use DB1; var cursor = db.collection1.aggregate([ { $project: { color_Id: 1, _id: 0 } }, { $lookup: { from: "collection2", localField: "color_Id", foreignField: "p_color_Id", as: "matched_docs" } }, { $unwind: "$matched_docs" }, { $replaceRoot: { newRoot: "$matched_docs" } } ], { batchSize: 2000 }); use DB2; var batch = []; cursor.forEach(doc => { batch.push(doc); if (batch.length === 2000) { db.newCollection.insertMany(batch); batch = []; } }) if (batch.length > 0) { db.newCollection.insertMany(batch); } - 额外优化建议
如果newCollection不需要实时查询,插入前可先关闭集合的journal写入、删除非必须索引,插入完成后再重建索引,能进一步提升写入速度。
内容的提问来源于stack exchange,提问作者CuriousGeorge
相关产品推荐
相关产品推荐

