如何控制Azure Data Factory中Blob到SQL Server复制的并行度？

一、先定位真正的性能瓶颈 #

你调整各类并发参数后执行时间无变化，说明实际瓶颈不在IR并行配置、源/目标连接数设置上，优先排查以下核心卡点：

• 源端Blob存储限制：查看Azure门户中存储账户的Ingress/Egress（吞吐量）、Server Latency（服务延迟）指标，若Blob的带宽或IOPS已达上限，调并发无效；若为单个大文件，ADF默认单线程处理，此时并行度参数完全不生效。
• 目标SQL Server瓶颈：用sys.dm_os_wait_stats查看数据库等待类型（如PAGEIOLATCH_*代表磁盘IO瓶颈，CXPACKET可能是查询并行受限）；同时检查目标表的索引、触发器、外键约束，这些会大幅增加写入开销，抵消并发配置的作用。
• 自托管IR实际资源可用性：确认两台IR节点是否都在线，节点的CPU、内存是否被其他进程占用；检查IR集群的节点分配逻辑，确保任务能分发到两台节点上（默认单任务可能仅占用单个节点）。

二、针对性并行策略调整 #

1. 源端为单个大文件 #

在Blob源数据集的「连接」选项卡勾选分割文件，按行或字节（如100MB/块）分割，让多IR线程同时读取同一文件的不同分片。

2. 源端为多文件但并行上不去 #

• 在复制活动的「设置」中，将并行复制值设为匹配IR总能力（两台节点默认总并行数为8，可设为8~16）；同时启用文件列表模式，让ADF批量获取文件列表并行调度任务。
• 若使用ADLS Gen2，检查目录结构：同一目录下小文件过多会拖慢文件列表获取速度，建议拆分目录存储。

3. 目标SQL Server写入瓶颈 #

• 临时禁用目标表的非聚集索引、触发器、外键约束，完成复制后再重建/启用；
• 在复制活动「目标」设置中，将写入行为设为批量插入，调整批量大小（如10000），减少数据库事务开销；
• 检查SQL Server的MAXDOP（最大并行度）设置，若值过低会限制并行写入能力。

4. 自托管IR集群优化 #

• 在ADF集成运行时页面确认两台节点均为在线状态；
• 在IR「配置」中调整最大并行执行数（单节点可设为8，两台总16），释放IR的并行处理能力；
• 排除代理限制：若IR需通过代理访问存储或数据库，确认代理无带宽/连接数限制。

三、验证调整效果 #

每次调整后重点监控：

• IR节点的CPU、内存使用率（确认资源是否被有效利用）；
• Blob存储的吞吐量指标（确认源端带宽是否跑满）；
• SQL Server的等待类型与磁盘IO（确认目标端瓶颈已缓解）；
• 复制活动的「峰值连接数」「并行复制数」（确认并发配置生效）

内容的提问来源于stack exchange，提问作者Gamer 007