ADF并行数据流最佳实践：ForEach执行模式成本差异咨询

两种模式不存在计费规则上的单价差异，但实际产生的总成本差距非常明显，核心逻辑如下：

• ADF的编排活动（Lookup、ForEach本身）按执行次数计费，不管选顺序还是并行，200次Lookup、200次Data Flow的编排费用完全一致。
• Data Flow计算、带TTL的Azure Integration Runtime（IR）按vCore实际占用时长计费：
  • 顺序模式下200个任务串行执行，IR集群全程被占用，30分钟执行时长会全额计费；等最后一个任务跑完才会触发30分钟TTL计时，这段空闲时间如果没有主动关停IR，同样会计入费用，光IR部分的总计费时长就达到60分钟。
  • 合理配置的并行模式下，多个Data Flow可以共享同一个热IR集群资源，总执行时长会随并发度提升线性下降。比如设10个并发，理论上执行时长能压到3分钟左右，就算加上30分钟TTL空闲，IR总计费时长也只有33分钟，比顺序模式省近一半成本。
  • 注意不要盲目拉满并发上限（ForEach最高支持50并发），如果并发数超过单IR集群的承载上限，ADF会自动拉起新的IR集群处理溢出任务，多集群同时计费反而会推高总成本。

• 先测算合理的并发度：不要直接拉满50并发上限，先跑单个Data Flow作业看vCore稳定占用值，按IR总vCore数的70%做容量预留设置并发度，留30%冗余避免资源争抢。比如16vCore的计算优化IR，单Data Flow稳定占1vCore，就把并发设为11-12，压测无排队、无资源抢占再逐步上调。
• 优化IR TTL配置：不要固定设30分钟TTL，按并行后的总执行时长调整，比如200个任务按10并发跑总耗时约3分钟，就把TTL设为5分钟，保证ForEach执行全程集群不释放即可，跑完后5分钟自动回收集群，能省掉25分钟的空闲计费。只有当下次pipeline触发间隔小于10分钟时，才考虑拉长TTL到匹配触发间隔。
• 移除ForEach内的重复Lookup：把Lookup活动挪到ForEach外层，一次性拉取所有需要的配置、维度数据存入管道变量，ForEach迭代时直接从变量取值，省掉200次Lookup的编排费，也减少作业等待间隙的IR空转损耗。
• 开启Data Flow性能优化选项：打开Quick Reuse快速重用开关，让同IR上的并行作业直接复用已初始化的Spark会话，把单作业启动延迟从分钟级压到秒级；同时开启自动分区优化，根据每个迭代的实际数据量动态调整分区数，避免数据倾斜、小文件拖慢单作业速度。
• 做任务分层处理：ForEach执行前先按单任务处理的数据量分组，数据量小于100MB的小任务合并为单个Data Flow作业处理，减少频繁调度作业的开销；大数据量任务走并行通道，进一步压缩总执行时长。
• 跳过无效TTL计费：如果pipeline跑完后没有其他作业要复用该IR，在管道末尾加Web活动调用接口手动关停IR，直接跳过TTL的空闲计费阶段，最多能省30分钟的IR费用。

内容的提问来源于stack exchange，提问作者Suraj Shejal