如何使用Azure Data Factory按文件名将多文件重定向至Data Lake多文件夹

方案概述 #

针对不同文件名匹配对应目标文件夹的需求，我们可以通过「元数据获取+循环遍历+动态路径复制」的组合逻辑实现，支持静态指定映射关系或按文件名规则自动匹配目标路径。

分步实现 #

1. 配置源/目标数据集 #

• 源数据集：连接到待处理文件所在的ADLS Gen2存储，选择DelimitedText格式。在数据集设置中勾选「允许文件名作为参数」，新增参数sourceFileName，后续用于动态指定要复制的单个文件。
• 目标数据集：连接到ADLS Gen2的根容器，勾选「允许文件夹路径作为参数」，新增参数targetFolderPath，文件名可直接复用源文件名（或按需自定义）。

2. 定义文件名-文件夹映射规则 #

根据你的需求选择以下一种方式：

静态映射（已知固定对应关系）

在管道中创建参数fileFolderMap，类型设为「数组」，示例值：

[
  {"fileName": "bag.csv", "targetFolder": "TotalBags"},
  {"fileName": "hat.csv", "targetFolder": "TotalHats"}
]

后续通过表达式匹配数组中的对应关系。

规则映射（按文件名模式自动匹配）

如果文件名和目标文件夹有固定命名规律（比如bag.csv对应TotalBags），可以用ADF表达式动态生成路径：

@concat('Total', upper(split(item().name, '.')[0]))

解释：拆分文件名取前缀，转大写后拼接Total前缀，得到目标文件夹名。

3. 构建管道核心逻辑 #

步骤1：获取源文件列表

添加Get Metadata活动，关联源数据集，勾选「Child Items」选项。运行后该活动会输出源文件夹下所有文件的元数据（包括每个文件的name属性）。

步骤2：遍历所有文件

添加ForEach活动，设置「Items」为：

@activity('Get Metadata活动的名称').output.childItems

如果需要按顺序处理文件，勾选「Sequential」选项。

步骤3：动态复制到对应文件夹

在ForEach内部添加Copy活动：

• 源端配置：选择源数据集，将sourceFileName参数值设为@item().name（当前遍历到的文件名）。
• 目标端配置：选择目标数据集，根据映射规则设置targetFolderPath：
  • 静态映射场景：用表达式从参数数组中匹配对应文件夹：

    @first(filter(pipeline().parameters.fileFolderMap, equals(item().fileName, item().name))).targetFolder
    

  • 规则映射场景：直接使用之前定义的动态路径表达式。
• 文件名保持与源文件一致即可，目标文件名设为@item().name。

4. 测试与异常处理 #

• 手动触发管道，检查ADLS Gen2中对应文件夹是否生成目标文件。
• 若存在无需处理的文件，可在ForEach前添加Filter活动，过滤出需要处理的文件列表；也可在Copy活动前加If Condition，判断当前文件是否在映射规则内，避免无效操作。

优化建议 #

• 若映射关系需要频繁更新，可将映射表存储在ADLS的JSON文件或SQL表中，用Lookup活动读取，无需修改管道参数。
• 添加日志记录：在Copy活动完成后写入ADLS日志文件，记录文件名、目标路径、处理时间等信息，便于问题排查。

内容的提问来源于stack exchange，提问作者Raja Pandi G R