mongodump实现MongoDB Atlas指定集合主/归档库双向迁移咨询

前置适配要点 #

• 权限与网络准备：需将运行迁移工具的Node.js服务所在服务器的公网IP，加入源、目标两端Atlas集群的白名单；连接用的数据库账号需要同时具备源库的读权限、目标库的写权限，可单独创建迁移专属角色，不建议直接使用超管账号
• 索引兼容性保障：mongodump默认会同步导出集合的索引元数据，只要不主动加--noIndexRestore参数跳过元数据导出，后续恢复时会自动重建对应索引，完全可以规避之前自研导出方案的索引丢失问题

核心实现流程 #

基于Node.js的内置能力，不需要从零封装BSON读写逻辑，直接通过内置的child_process模块调用系统侧的mongodump、mongorestore二进制即可完成全链路流程：

• 主库到归档库的正向迁移流程
  1. 执行导出：通过spawn方法调用mongodump，指定主库的Atlas连接串、目标迁移的集合名，导出内容默认带索引元数据
  2. 完整性校验：判断mongodump执行的返回码，同时拉取主库集合的实时文档数，和导出目录的BSON文件条目数做比对，偏差超过阈值则直接中断流程抛出异常
  3. 执行恢复：调用mongorestore指向归档库的Atlas连接串，从刚才的导出目录导入目标集合
  4. 流程收尾：校验归档库侧的集合文档数、索引数量和源端一致后，自动清理临时导出文件，避免本地磁盘被长期占用
• 归档库回主库的反向回迁流程
  1. 复用同一套临时目录逻辑，从归档库侧导出需要回迁的目标集合
  2. 恢复到主库时可加上--drop参数，先删除主库当前对应集合再导入，避免重复数据冲突
  3. 同样完成数据校验、临时文件清理的收尾动作

落地优化建议 #

• 大集合场景推荐用管道模式替代落盘导出：可以把mongodump的输出流直接通过管道传给mongorestore，全程不需要在本地磁盘存导出文件，既减少磁盘IO占用，也能缩短整体迁移时长，对应管道命令不需要落盘即可完成跨库迁移
• 版本对齐：安装在Node.js服务器上的mongodump、mongorestore版本，要和当前Atlas集群的MongoDB服务端版本保持一致，避免出现BSON格式不兼容的错误
• 限流适配：给mongorestore加上--numInsertionWorkersPerCollection参数限制导入并发，避免迁移过程打满Atlas共享实例的带宽，触发集群的限流机制影响线上正常业务
• 错峰执行：如果迁移的集合数据量超过10GB，尽量选择业务低峰期执行，减少索引重建阶段对集群计算资源的占用

内容的提问来源于stack exchange，提问作者Hussam