如何在Azure Data Factory中根据SQL服务器参数化管道并发数

不用克隆多个管道，直接在父管道内完成分组和对应并行度的处理，步骤如下：

1. 按目标SQL服务器分组待处理数据
   在Filter活动之后，新增Set Variable活动，用ADF的groupBy表达式把过滤后的数组按目标服务器（或其允许的并行数）分组，生成包含服务器信息、最大并行数、对应待处理项的结构化数组，示例表达式：

   @groupBy(variables('filteredItems'), item().TargetServer, (group) => createObject('Server', group.key, 'MaxParallel', lookup('ServerConfig', 'MaxParallel', 'ServerName', group.key), 'Items', group.items))
   

   （注：ServerConfig是存储服务器并行配置的Lookup活动，直接关联对应服务器的允许并行数）

2. 用Switch分支匹配对应并行度

   • 外层加一个ForEach活动（并行数可设为1，或根据服务器数量调整），遍历上述分组后的数组。
   • ForEach内部添加Switch活动，以当前分组的MaxParallel值为判断条件，为每个并行数创建分支：
     • 分支值=1：添加ForEach活动，设置并行运行数=1，遍历当前分组的Items，调用子管道处理单条数据。
     • 分支值=3：添加ForEach活动，设置并行运行数=3，遍历当前分组的Items，调用子管道处理单条数据。
     • 分支值=5：添加ForEach活动，设置并行运行数=5，遍历当前分组的Items，调用子管道处理单条数据。
   • 后续新增服务器并行数时，只需在Switch里加对应分支，不用新建管道。

3. 子管道保持轻量化参数化
   子管道只需要接收单条数据的必要参数（如服务器连接、处理内容），并行控制完全交给父管道的分支ForEach，无需改动子管道逻辑。

对比原方案的优势 #

• 避免维护多个重复管道，减少冗余代码和运维成本。
• 扩展性更强：新增并行数规则只需加分支，无需克隆管道。
• 逻辑更集中：所有并行控制逻辑在父管道内，调试和修改更方便。

内容的提问来源于stack exchange，提问作者alex