如何将Microsoft OneDrive接入ADF并迁移多文件夹文件至Blob存储及成本对比

核心计费差异 #

• Logic Apps：按「执行次数+操作步骤数」收费，每一个动作（比如获取文件列表、复制单个文件）都算一次操作，部分连接器还要额外付费。适合低频率、小批量的简单任务——比如每天复制几个文件，每月成本可能才几美元；但如果是大批量、高频率迁移，操作数会暴涨，成本跟着直线上升。
• ADF：按「数据处理量（DIU）+管道执行次数」收费，DIU是处理能力单位，可根据任务复杂度选1-48个。大批量数据迁移时，单位数据成本很低；小批量任务用最低DIU的话，成本略高于Logic Apps，但差距不大。

场景适配成本 #

• 你之前用的简单文件复制场景：Logic Apps更划算，步骤少、执行次数不多的话，成本几乎可以忽略。
• 你需要的「迁移+合并文件」场景：ADF性价比更高。合并文件这类数据转换，ADF的数据流可以直接高效处理；而Logic Apps得额外加步骤（比如调用Azure Function合并），不仅操作数增加、成本上涨，性能也远不如ADF。

长期扩展成本 #

• Logic Apps：任务越复杂（比如加分支判断、多文件合并），操作数线性增长，成本也跟着线性上升。
• ADF：支持批量并行处理，复杂度提升对成本的影响很小，适合长期扩展的数据流任务。

1. 配置数据源链接服务 #

在ADF门户里，进入「Manage > Linked Services」，新建两个链接服务：

• OneDrive for Business：用OAuth授权ADF访问你的OneDrive账号，选好要迁移的文件夹路径。
• Azure Blob Storage：用存储账户密钥或托管身份认证，指定目标容器。

2. 创建数据集 #

• 新建OneDrive数据集：关联刚才的OneDrive链接服务，设置文件格式（比如CSV、Excel），路径可以固定也可以留空，后续在管道里动态指定。
• 新建Blob数据集：关联Blob链接服务，设置目标文件格式和路径，同样支持动态参数。

3. 构建基础迁移管道（多文件夹迁移） #

• 新建管道，添加「ForEach」活动：把要迁移的文件夹列表作为输入（可以手动写数组，也可以用Get Metadata活动获取文件夹列表）。
• 在ForEach循环里添加「Copy Data」活动：
  • 源：选OneDrive数据集，用动态参数替换源文件夹路径（比如@item().folderPath）。
  • 目标：选Blob数据集，设置目标路径，按需选「追加」或「覆盖」模式。

4. 添加文件合并逻辑 #

方式一：复制时直接合并（适合同结构文件） #

在Copy Data活动的「源设置」里勾选「Recursively copy files」，然后在「Sink设置」里选「Merge files」，指定合并后的文件名和格式。这种方式适合合并同结构的CSV/Excel文件，复制过程中直接完成合并，不用额外步骤。

方式二：用数据流处理复杂合并 #

• 新建数据流：
  • 添加「Source」转换：选OneDrive数据集，用通配符指定要合并的文件（比如folder/*.csv）。
  • 添加「Union」转换：如果只是简单合并所有行，直接用Union把所有文件的数据合并到一起；如果需要分组聚合，就用Aggregate转换。
  • 添加「Sink」转换：选Blob数据集，设置目标文件名，选「Overwrite」模式。
• 在管道里添加「Execute Data Flow」活动，调用这个数据流，合并完成后写入Blob。

5. 测试与自动化 #

• 手动触发管道，检查文件是否成功迁移、合并是否符合预期。
• 在管道的「Trigger」里设置调度（比如每天凌晨执行），实现自动化迁移。

内容的提问来源于stack exchange，提问作者mahesh kumar Subramaniam