如何将TB级数据从Blob Storage快速迁移至Synapse SQL专用池？

优先优化现有方案（比自行写脚本更高效） #

1. 修复并强化Bulk Insert #

• 处理失败文件：先批量校验所有文件的格式（比如转义字符、列数一致性），用PowerShell或Azure CLI快速过滤出有问题的文件单独处理，避免卡住整体进程。
• 并行化执行：不要单线程跑，把文件按文件夹或大小分成多个批次，同时启动多个Bulk Insert任务，充分利用Synapse的弹性计算资源。加上TABLOCK选项，调优BATCHSIZE（比如设为100000），能大幅提升写入效率。
• 直接读取压缩文件：Synapse支持直接读取.gz等压缩格式的CSV，无需提前解压，节省IO耗时。

2. 解决ADX LightIngest超时问题 #

• 调整参数扩容：把LightIngest的-maxconcurrency调至32，减小-batchsize避免单批次过大超时；同时临时升级ADX集群到最高规格，迁移完成后再缩容，成本不考虑的话这步能快速解决超时。
• 优化数据路径：不要通过ADX中转到Synapse，直接用ADX的数据导出功能写入Synapse，或者在Synapse创建ADX外部表，直接读取ADX数据插入，减少中转开销。

3. 优化PolyBase暂存流程 #

• 配置参数处理转义字符：不用手动去除转义符，在PolyBase外部表定义里加上ESCAPE_CHARACTER = '\'（根据实际转义符调整）和STRING_DELIMITER = '"'，就能直接读取原始文件，跳过暂存步骤。
• 启用并行加载：利用Synapse MPP特性，开启PolyBase并行加载，调整MAX_RETRY_COUNT和RETRY_INTERVAL处理偶发失败，让多个计算节点同时加载文件。

自行编写脚本的适用场景 #

如果上述优化后仍达不到预期速度，可以用Python/Go编写并行加载脚本，但要注意核心点：

• 并行控制：用多进程（Pythonmultiprocessing）或协程/goroutine（Go）同时处理多个文件，并发数控制在64以内，避免超过Synapse连接限制。
• 流式处理压缩文件：直接读取压缩流（Python用gzip模块，Go用compress/gzip），无需解压到本地，节省存储和IO。
• 批量插入：每读取10万行左右做一次批量插入，用pyodbc.executemany或Gosqlx的批量插入功能，降低单条插入的开销。
• 错误重试：给每个文件加载任务加重试机制，失败文件记录到日志，最后统一处理。

终极提速技巧（成本不考虑时） #

• 临时升级Synapse SQL专用池到最高规格（如DW3000c），迁移完成后再降级，用更高计算资源拉满加载速度。
• 把所有压缩文件迁移到Azure Data Lake Storage Gen2，Synapse和ADLS Gen2深度集成，读取速度远优于其他存储服务。

内容的提问来源于stack exchange，提问作者Zarul Zakuan