Azure Data Factory ForEach活动未并行运行数据流问题咨询

该现象是否为预期行为 #

该情况属于Azure Data Factory的默认预期调度逻辑，核心原因如下：

你设置的TTL参数仅作用于作业完成后集群的保留时长，无法增加集成运行时（IR）的并行实例数量，因此无法解决该问题。
默认情况下，数据流使用的Azure IR仅配置了单作业并行的计算资源，哪怕ForEach关闭了顺序执行模式提交了多个并行作业，后续作业也会进入调度队列，等待前一个作业执行完成后复用已启动的集群资源，因此会出现耗时固定间隔递增的现象。

可行解决方案 #

• 调整Azure IR的并行配置：编辑数据流对应的Azure IR，将核心数和最大并行执行数调整为匹配你实际的并行处理需求，比如需要同时跑5个数据流，就将最大并行数设置为≥5，从资源侧支持多作业同时运行，避免排队
• 配置暖群池：对于高频生产场景，可以给对应Azure IR配置固定暖群资源，预留指定数量的计算节点常驻，完全消除数据流作业的启动等待开销
• 批量处理替代单文件循环：就是你当前正在尝试的方案，直接在单个数据流的源配置中使用通配符路径匹配所有待处理文件，不需要通过ForEach逐个触发数据流作业

现有尝试方案的效率说明 #

你当前测试的「生成文件列表后替代ForEach活动」的方案效率远高于ForEach逐个触发数据流的方案：该方案仅需要一次集群启动开销，且数据流会自动调用分布式计算资源并行处理所有匹配的文件，总耗时基本等于处理单个最大文件的时长，不会出现作业排队导致的耗时叠加问题，是该场景下的优先推荐方案。

内容的提问来源于stack exchange，提问作者Volume999