使用C#实现SQL Server到MongoDB高效数据迁移的方案咨询

两种方案的性能对比 #

先说结论：数据量超过10万条的场景下，按偏移量分批拉取的实际运行效率远高于单次全量拉取，原因如下：

• 单次全量拉取的瓶颈非常明显：当数据量达到几十万甚至百万级时，一次性查询会占用SQL Server大量内存和IO资源，查询响应时间会陡增，还可能触发SQL Server的查询超时；同时全量数据加载到C#程序内存中会带来极高的GC压力，处理过程中很容易出现内存溢出，反而会拉长整体迁移耗时。
• 偏移量分批拉取的优势：单次查询数据量小，SQL Server响应快，程序内存占用稳定可控，同时你可以在批次之间做并行处理（比如当前批次处理写入MongoDB的同时，异步拉取下一批次的SQL数据），整体吞吐率反而更高。

注意：偏移量分页如果用OFFSET N FETCH NEXT M ROWS ONLY的语法，当偏移量非常大（比如千万级数据偏移到几百万）时，SQL查询速度会变慢，这是因为SQL需要扫描前N条数据才能定位到偏移位置。

适配你场景的最优实现方案 #

你这个属于低频执行、数据量持续增长的迁移场景，建议按以下逻辑优化实现：

1. 替换偏移分页为键集分页（Keyset Pagination）
   不要用偏移量分页，改用SQL表中的自增主键/更新时间戳作为分页游标，每次查询用WHERE 主键 > 上一批次最后一条的主键值 LIMIT 批次大小的逻辑，分页查询效率不会随数据量增长下降，同等数据量级下比偏移分页快3~10倍，数据量越大优势越明显。
2. 合理设置批次大小
   推荐单批次拉取1000~5000条数据，你可以根据单条数据的体积做调整，控制单批次数据内存占用在100MB以内即可。
3. MongoDB写入优化
   不要逐行插入MongoDB，改用BulkWriteAsync做批量插入，批量大小和SQL拉取的批次大小保持一致即可，写入效率能提升10倍以上。
4. 并行处理优化
   可以用Channel实现生产消费队列：一个线程专门负责从SQL Server拉取批次数据写入队列，另一个独立的消费者线程负责处理数据、批量写入MongoDB，每次完成一个批次就通过SignalR推送进度，整个流程没有闲置等待时间，资源利用率最高。
5. 增加断点续传能力
   因为你是低频执行的任务，万一迁移过程中出现网络中断、程序崩溃的情况，不需要从头开始跑：你可以把当前已经处理完成的最大主键值存在本地配置/Redis里，重启任务后直接从这个位置继续拉取即可。
6. 支持增量迁移
   如果两次迁移之间只需要同步新增/修改的数据，你可以在SQL表上加update_time字段，每次迁移只拉取update_time > 上一次迁移完成时间的数据，不需要每次都跑全量，效率会提升非常多。

内容的提问来源于stack exchange，提问作者Aneesh