缩短Azure Data Factory管道执行时长及低成本迁移Azure SQL至本地SQL

一、缩短Azure Data Factory管道执行时间的优化方法 #

• 精准配置并行与切片：别只开并行，去ADF复制活动的「性能设置」里调高并行复制数（最大可到100），同时设置数据切片大小（比如按1GB拆分），让任务拆分更合理。另外先检查Azure SQL的资源，要是源库CPU也跑满，先临时扩容DTU/vCore，别让源端拖后腿。
• 启用批量加载功能：本地SQL Server开启批量插入，2016及以上版本可启用PolyBase，在ADF目标端设置里打开对应选项，批量写入能大幅降低CPU占用，提升写入速度。
• 拆分源数据读取：别直接全表复制，给源表的主键/分区键建索引，复制时按ID或时间分段（比如每次复制一个月的数据），分批次跑管道，避免一次性拉取1TB数据导致传输和源端瓶颈。
• 优化网络链路：公网传输优先换Azure ExpressRoute或VPN网关，稳定带宽；使用Azure托管集成运行时（除非本地有强制限制，否则别用自托管IR），它和Azure SQL内部通信更快。同时测试本地上行带宽，不够就临时提升。
• 临时禁用目标端索引约束：复制前先关掉本地SQL表的非聚集索引、外键约束，复制完成后再重建。写入时维护索引特别耗CPU和时间，大表批量写入尤其明显。

二、低成本的Azure SQL到本地SQL数据加载方案 #

• Blob存储中转+AzCopy+本地批量导入：
  1. 用Azure Portal导出功能或T-SQL的bcp命令，把Azure SQL表导出到Azure Blob存储，选GZIP压缩格式，节省空间和流量。
  2. 用AzCopy把Blob里的压缩包下载到本地，这工具传输效率比ADF高，成本也更低。
  3. 本地用bcp、BULK INSERT或OPENROWSET导入到SQL Server，全程只有Blob存储和出Azure的流量成本，比ADF复制划算得多。
• 本地SQL链接服务器分批导入：在本地SQL Server创建链接服务器指向Azure SQL，然后用INSERT INTO ... SELECT分批导入（比如每次100万行），无需额外云服务费用，仅产生网络成本，注意控制分批大小避免锁表。
• 备份还原法：把Azure SQL数据库备份到Blob存储，然后在本地SQL Server还原备份（需确保版本兼容），适合一次性全量迁移，成本低速度快，但无法支持增量同步。

内容的提问来源于stack exchange，提问作者Peer