使用Spring Boot实现MongoDB跨集合迁移百万级大数据的方案咨询
方案可行性评估
你当前的方案是可行的,但存在几个典型问题需要注意:
- 普通offset分页性能随数据量增长急剧下降:当偏移量到几十万级别时,MongoDB需要扫描所有跳过的文档才能返回当前页数据,越往后的批次查询延迟越高
- 无断点续传能力:如果程序中途崩溃,需要从头开始执行迁移,浪费资源还容易出现重复迁移
- 事务一致性风险:如果单批次的写入新集合、删除原集合两个操作中间出现异常,会出现数据重复或者遗漏的问题
- 批量操作效率低:如果没有用原生批量API,单条读写的交互次数过多,整体迁移耗时会很长
更优实现思路
通用优化项(适用所有场景)
- 替换offset分页为游标滚动分页:基于唯一排序键(通常用
_id)做分页,每次查询仅返回大于上一批最后一条_id的N条数据,示例查询逻辑如下:
// 首次查询 Query query = new Query().with(Sort.by("_id")).limit(2000); List<Document> batch = mongoTemplate.find(query, Document.class, "sourceCollection"); // 后续批次查询 Object lastId = batch.get(batch.size()-1).get("_id"); query = new Query(Criteria.where("_id").gt(lastId)).with(Sort.by("_id")).limit(2000);
这种方式全程走_id主键索引,不会有offset分页的性能损耗,单批次查询耗时基本稳定。
- 增加进度持久化机制:每完成一批数据的迁移,把当前批次的最大
_id写入单独的进度集合,程序重启后直接读取进度继续执行,无需从头开始 - 优先用MongoDB原生批量API:写入用
insertMany,删除用基于_id的批量删除,减少和数据库的交互次数,性能比单条操作高5~10倍 - 增加幂等校验:写入新集合前先判断对应
_id是否已存在,或者使用{ordered: false}的批量写入配置,遇到重复主键自动跳过,避免重复写入导致的报错
冷数据迁移(迁移期间原集合无写入)最优方案
如果是全量备份后原集合无需保留,直接使用MongoDB原生的renameCollection命令,原子性完成集合重命名,毫秒级完成操作,完全不需要逐条迁移数据。如果需要保留原集合名称,直接用db.source_collection.aggregate([{$out: "target_collection"}]),MongoDB服务端直接完成全量数据复制,性能远高于应用层读写。
热数据迁移(迁移期间原集合仍有写入)最优方案
- 先基于游标分页完成存量数据的全量迁移,记录迁移开始的时间戳
- 开启MongoDB Change Stream监听原集合的增量变更,把全量迁移开始后的新增、修改、删除操作同步到新集合
- 待增量同步追平后,切换业务流量到新集合,观察业务无异常后再删除原集合的对应数据,全程无需停机,也不会出现数据不一致。
注意事项
- 批次大小建议设置为1000~5000,根据单条文档大小调整,避免单次查询拉取过多数据导致应用或者数据库内存溢出
- 迁移过程中增加限流,每批次处理完成后暂停10~50ms,避免占用过多MongoDB IO资源影响线上业务
- 正式删除原集合数据前必须做一致性校验:对比两个集合的文档总数,抽样比对文档内容,确认完全一致后再执行删除操作,建议先对原集合做改名备份,业务稳定运行一周后再物理删除。
内容的提问来源于stack exchange,提问作者user2599276
相关产品推荐
相关产品推荐

