ADLS同目录多文件Pipeline重命名报错问题求助

• 环境：ADLS的outbound目录下包含多个子目录，分区CSV文件分散在这些子目录中，目标路径取自SQL配置表。
• 现有两个Pipeline：
  1. 第一个Pipeline：将SQL表数据复制到配置表指定的ADLS目录，生成待重命名的分区文件。
  2. 第二个Pipeline：负责文件重命名（规则：移除下划线，将下划线后的数字与文件名的hhmmss结合）、放回原目录并删除旧文件，执行流程如下：
     • Lookup：从SQL配置表获取文件夹路径
     • Foreach：遍历每条路径
     • 执行子Pipeline（传入参数folderpath = item().DEST_FOLDER_PATH），子步骤：
       • Get metadata：获取目录下所有文件
       • Foreach：遍历每个文件
       • Copy activity：重命名文件
       • Delete：删除原文件
• 核心问题：同一目录存在多个文件时，Foreach循环报错。例如outbound/NL/historical目录下有5个文件，第一次循环完成重命名并删除原文件后，后续循环因找不到原文件（实时目录已无该文件）而执行失败。

方案1：预加载文件列表，避免循环中目录变更影响 #

1. 修改子Pipeline的Get metadata环节：
   • 配置Field list为Child items，一次性获取目标目录下所有文件的完整元数据（含文件名、路径），并将结果存储为变量。
   • 后续Foreach循环直接遍历预加载的文件列表，不再实时读取目录，避免因文件删除/重命名导致的路径失效。
2. 调整Copy和Delete的路径参数：
   • Copy源路径直接使用@item().name（从预加载的元数据中取原始文件名），确保每次循环都指向正确的原文件。
   • Delete活动同样使用原始文件名路径，不依赖实时目录结构。

方案2：用ADLS Gen2原生重命名活动替代Copy+Delete（推荐） #

如果使用ADLS Gen2，可直接用Rename File活动简化流程，避免文件丢失问题：

1. 在子Pipeline的Foreach循环中，对每个文件执行Rename File活动：
   • 源路径：@concat(pipeline().parameters.folderpath, '/', item().name)
   • 目标路径：按需求编写重命名表达式，例如原文件名为data_001_20240601102030.csv，要生成data00120240601102030.csv，表达式可写为：

     @concat(replace(split(item().name, '_')[0], '_', ''), split(item().name, '_')[1], split(split(item().name, '.')[0], '_')[2], '.csv')
     

   根据实际文件名规则调整表达式即可。
2. 此方案无需单独的Delete活动，重命名完成后原文件自动替换，彻底规避循环中文件找不到的问题。

方案3：增加文件存在性检查（兼容现有流程） #

如果必须保留Copy+Delete的结构，可在Copy活动前添加If Condition活动：

• 新增一个Get metadata活动，仅检查当前循环的原文件是否存在，配置Field list为Exists。
• If Condition的判断表达式：@activity('Check File Exists').output.exists
• 仅当文件存在时，才执行Copy+Delete操作；若文件已被处理（不存在），则跳过当前循环。

内容的提问来源于stack exchange，提问作者Bindu