Azure Data Factory批量重命名嵌套目录文件故障排查

报错根因 #

三个问题均为ADF活动返回结构、循环作用域、参数绑定逻辑不匹配导致，无存储侧故障：

• 表达式求值报错：Get Metadata的返回结构和引用字段不匹配。当活动目标为文件夹时，输出不会返回itemName字段，childItems是对象数组类型（每个元素包含单个子项的name、type属性），不是字符串，直接传入replace()函数必然触发类型错误。只有当Get Metadata直接指向单个文件对象时，输出才会包含itemName属性。
• 并发写入400错误：核心原因是Sink侧的文件名参数没有和循环内的当前文件做绑定，所有循环迭代都传入了同一个静态文件名，默认开启的20并发会同时往这一个路径写文件触发冲突。此时虽然源文件都被复制，但因为写入冲突，最后落盘的文件名都是默认值，没有执行替换逻辑。
• 单订阅仅生成1个正确文件：两层问题，一是子管道的Get Metadata没有开递归遍历，拿不到月份文件夹下的嵌套文件；二是循环内的文件路径引用错了作用域，没有取内层ForEach的当前迭代项，而是固定引用了Get Metadata返回的第一个/最后一个文件，所以循环跑完仅留下1个正确文件。

可直接落地的配置步骤 #

父管道配置 #

1. 新增Get Metadata活动（命名为GetSubDirs）
   • 数据集绑定源存储账号的allsubs容器，固定路径为daily
   • 字段列表仅勾选childItems
   • 活动后接Filter活动，过滤出订阅级子目录，过滤表达式：@equals(item().type, 'Directory')
2. 新增ForEach活动（命名为LoopSubDirs）
   • Items属性绑定@activity('FilterSubDirs').output.Value
   • 调试阶段先勾选Sequential关闭并发，验证通过后可开并发，最大并发数建议不超过5
   • 循环内部添加Execute Pipeline活动，调用重命名子管道，传入参数currentSubDir，值为@item().name

子管道配置 #

1. 提前声明管道参数currentSubDir，类型为String
2. 新增Get Metadata活动（命名为GetAllFiles）
   • 数据集绑定源存储allsubs容器，动态路径配置为daily/@{pipeline().parameters.currentSubDir}
   • 字段列表仅勾选childItems，必须勾选Recursively递归获取选项，才能拿到previous-month、this-month下所有层级的csv文件
   • 活动后接Filter活动，过滤掉目录项仅保留文件，过滤表达式：@equals(item().type, 'File')
3. 新增ForEach活动（命名为LoopFiles）
   • Items属性绑定@activity('FilterFiles').output.Value
   • 调试阶段先勾选Sequential关闭并发，验证全量文件处理正常后再开并发，最大并发数建议设为4，避免Blob存储限流
   • 循环内部添加Copy Data活动：
     • Source侧：数据集绑定源存储allsubs容器，动态文件路径配置为daily/@{pipeline().parameters.currentSubDir}/@{item().name}。递归获取的item().name自带相对路径（比如previous-month/202405_export_user_01.csv），直接拼接即可拿到正确的源文件路径，不需要额外拆分目录层级。
     • Sink侧：数据集绑定目标存储renamed-files容器，新增数据集参数targetFullPath，文件路径直接绑定该参数。Copy活动中给该参数传值：@replace(concat(pipeline().parameters.currentSubDir, '/', item().name), '_', '-')，该表达式会自动把路径里所有下划线（包括文件名、后续目录名如果存在下划线也会同步替换）替换为横杠，同时保留原有的订阅、月份目录层级，不会把所有文件堆在目标容器根目录。
     • Copy活动设置中，将源、Sink的并发连接数都设为1，Sink复制行为选择Preserve hierarchy，不要选Flatten hierarchy避免路径混乱。

调试验证要点 #

• 所有动态路径不要硬编码，循环内的文件引用必须取当前内层ForEach的item()属性，不要直接引用外层Get Metadata的输出，避免作用域错乱拿错文件路径。
• 首次调试时，可在子管道ForEach内部加一个Wait活动，设置1秒等待，避免短时间大量请求触发存储限流。
• 若需要幂等执行，可在Copy活动前加Get Metadata+If Condition判断，若目标路径下替换后的文件已存在则跳过Copy，避免重复写入。

内容的提问来源于stack exchange，提问作者robert_553z8