Azure Data Factory中如何将ForEach循环SQL输出合并写入单个CSV

问题根因 #

你之前配置的Merge Files复制行为仅作用于单个Copy Data活动内部的多源/多结果集合并，ForEach循环的每次迭代是完全独立的Copy活动实例，默认采用覆盖写入模式，因此每次都会清空已有内容，不会触发跨活动的合并逻辑。

方案1：临时文件+后置合并（最稳定，支持并行循环） #

这是生产环境最推荐的方案，无并发冲突、无表头重复问题：

• 第一步：调整ForEach循环内Copy Data活动的输出规则，每次迭代生成唯一命名的临时CSV，存放在单独的临时存储目录，命名规则可参考 @concat('temp_', pipeline().RunId, '_', item().uniqueId, '.csv') 保证全局唯一，不会互相覆盖。
• 第二步：ForEach循环结束后新增一个独立的Copy Data活动：
  • 源配置：选择临时存储目录，文件格式设为CSV，勾选合并所有文件选项，如果临时文件自带表头，可开启跳过第一个行配置避免最终文件重复表头。
  • 接收器配置：指向你需要的最终目标CSV文件，复制行为选择Merge Files，单次Copy活动处理所有临时文件时合并逻辑会正常生效。
  • 可选优化：新增Delete活动，合并完成后清理临时目录的文件，节约存储成本。

方案2：直接开启Sink追加写入（仅适合串行循环、小数据量场景） #

如果你的ForEach循环设置为串行执行（并行度=1），且数据量较小，可以直接调整现有配置：

• 打开CSV接收器数据集的配置页，在连接选项卡的底部找到写入行为，将默认的覆盖修改为追加。
• 处理表头重复：除了第一次迭代外，其余迭代的Copy Data活动源配置开启跳过第一行，可以用表达式 @if(equals(item(), first(pipeline().parameters.forEachItemArray)), false, true) 动态控制是否跳过头行。
• 注意：如果ForEach并行度大于1，禁止使用该方案，多实例同时写入同一文件会触发并发冲突，导致文件内容损坏。

内容的提问来源于stack exchange，提问作者Brian