基于Azure Data Factory实现从FTP向Azure数据存储按源文件夹创建对应容器并复制文件的方案咨询

刚上手ADF遇到这个需求很正常，你的现有流程（Metadata + For Each + Copy Data）已经搭了基础，只需要补充动态创建容器和动态绑定目标容器名称这两个关键步骤就行，我来一步步拆解：

1. 确保Metadata活动正确获取FTP文件夹列表 #

首先确认你的Metadata活动已经准确抓取到FTP上的所有子文件夹：

• 在Metadata活动的Field list中勾选childItems，这样才能获取到FTP目录下的子项
• 添加Filter条件：@equals(item().type, 'Folder')，确保只返回文件夹（排除单个文件）
• 后续For Each活动的Items属性设置为：@activity('<你的Metadata活动名称>').output.childItems，这样循环会遍历每个FTP文件夹

2. 在For Each循环中添加「动态创建存储容器」的步骤 #

因为Azure存储容器不会自动创建，直接复制会报错，所以需要在Copy Data之前先创建对应名称的容器：

• 在For Each内部添加一个Web活动，用来调用Azure Blob Storage的REST API创建容器：
  • Method选择PUT
  • URL设置为：https://<你的存储账户名>.blob.core.windows.net/@{item().name}?restype=container
    • 这里@{item().name}就是当前遍历的FTP文件夹名称，会动态生成容器名
  • Authentication配置：
    • 推荐用Managed Identity：给ADF的托管标识分配存储账户的Storage Blob Data Contributor权限，然后Web活动的Authentication选Managed Identity，Resource填https://storage.azure.com/
    • 如果用SAS Token：确保SAS包含c（创建容器）权限，URL末尾拼接&<你的SAS Token>

3. 修改Copy Data活动的动态配置 #

接下来调整Copy Data的源和目标，实现按文件夹复制：

源端配置（FTP数据集） #

• 打开FTP数据集的Connection设置，把File path设置为动态值：@{item().name}，这样每次循环都会指向当前遍历的FTP文件夹，读取里面的所有文件

目标端配置（Azure存储数据集） #

• 打开存储数据集的Connection设置，把Container设置为动态值：@{item().name}，这样文件会被复制到和源FTP文件夹同名的容器中
• 如果需要保留文件夹结构，可以在Copy Data的Settings里勾选Preserve hierarchy

4. 流程顺序验证 #

确保For Each内部的活动顺序是：Web活动（创建容器）→ Copy Data活动（复制文件），这样能保证容器存在后再执行复制操作。

常见问题排查 #

• 如果Web活动报错：检查托管标识的权限是否足够，或者SAS Token是否包含创建权限
• 如果Copy Data找不到目标容器：确认@{item().name}的表达式是否正确，有没有拼写错误
• 如果复制了重复文件：可以在Copy Data的Settings里配置增量复制逻辑，比如按文件最后修改时间过滤

内容的提问来源于stack exchange，提问作者kira_22