能否无需Foreach，用Copy activity批量处理并动态设置Sink路径？

核心方案 #

用单个Copy Activity结合ADF表达式解析文件名，批量将源文件分发到目标路径，避免Foreach循环带来的多次计费问题。

具体步骤 #

1. 配置源数据集

   • 选择对应存储类型（如Blob Storage、ADLS Gen2），设置源文件所在根目录
   • 文件名字段使用通配符匹配目标文件：ABC*.csv，批量选中所有ABC开头的CSV文件
   • 无需开启递归（若源文件均在同一根目录）

2. 配置Sink数据集的动态路径

   • 在Sink数据集的「文件夹路径」中输入动态表达式，解析文件名生成目标路径：

     ABC/@{substring(split(item().name, '.')[0], 3)}/
     

     表达式说明：
     • split(item().name, '.')[0]：提取文件名（去掉.csv后缀），如ABCXX
     • substring(..., 3)：从第4个字符开始截取（索引从0开始），得到XX/YY等子串
   • 文件名保持为item().name，确保目标文件名为原文件名（如ABCXX.csv）

3. 配置Copy Activity的Sink行为

   • 在Copy Activity的Sink设置中，选择「复制文件原样」（Copy files as-is）
   • 根据需求设置文件写入行为（覆盖/追加）

关键说明 #

• 为什么$$Filepath不能直接用？
  $$Filepath是Copy Activity运行时生成的元数据变量，仅支持在附加列或字段映射中使用，无法直接作为Sink数据集的路径参数。必须通过item().name这类当前文件的元数据，结合ADF表达式语言动态生成路径。
• 成本优势：单个Copy Activity处理所有文件，计费按实际数据处理量和时长计算，避免Foreach循环中每个Copy Activity至少计费1分钟的额外成本。

内容的提问来源于stack exchange，提问作者yeykawb