ADF并行复制活动管道架构与参数化方案咨询

一、5个复制活动放在单个管道是否会出现性能瓶颈？ #

• ADF单个管道默认支持最多50个并行活动，5个活动远低于这个上限，ADF层面不会产生瓶颈。
• 真正需要关注的是数据源的并发承载能力：
  • 遗留数据库：确认其允许的并发连接数能否支撑3个同时的查询/导出操作。单表最多1000万行的数据量不算大，只要数据库自身CPU、内存、IO资源充足，3个并发请求不会造成明显压力。
  • SharePoint：注意其API调用的速率限制，2个并发复制活动只要不超过SharePoint的请求配额，就不会触发限流。
• 结论：只要数据源能承受对应并发量，单个管道放5个复制活动完全可行，不会很快出现性能瓶颈。

二、3个同库同架构的复制活动是否值得用ForEach？ #

• 首先纠正一个误解：ForEach活动并非只能串行执行，通过设置batchCount参数（默认值为1），可以实现并行处理。比如将batchCount设为3，就能同时运行3个复制活动，和单独配置的并行效果一致。
• 是否值得使用ForEach的判断：
  • 优点：
    • 减少重复配置：只需维护一个复制活动模板，所有表的连接、目标设置统一管理，后续新增同类型表时，只需在参数列表中添加对应的查询/表名即可。
    • 提升可维护性：如果需要修改数据源连接、目标路径等通用配置，只需改一处，无需逐个修改复制活动。
  • 缺点：
    • 监控粒度稍弱：ForEach中的活动会作为一个组展示，单独查看每个活动的运行日志需要进入ForEach详情页，不如单独配置的活动直观。但对于仅3个活动的场景，这个影响可以忽略。
• 结合你的场景（单表数据量不大），使用ForEach并开启并行是完全可行的，而且是更优的架构选择。

总结方案 #

1. 5个复制活动可以放在单个管道中并行运行，只要确认遗留数据库和SharePoint能承受对应并发量即可。
2. 针对3个同库同架构的复制活动，推荐使用ForEach活动，将查询语句/表名作为参数传入，并设置batchCount=3实现并行执行，兼顾配置效率和性能。

内容的提问来源于stack exchange，提问作者lifeofthenoobie