如何在Azure Data Factory中参数化数据集批量处理Blob的Excel文件

一、核心实现方案（参数化+PowerQuery批量处理） #

完全可以实现你的需求，复用已有Get Metadata+For Each的框架，结合参数化数据集和数据流的PowerQuery能力即可，步骤如下：

1. 参数化Blob Excel数据集

   • 创建Blob存储的Excel数据集，新增一个字符串类型参数FileName，用于接收循环传入的目标文件路径/名称。
   • 在数据集的连接配置中，将文件路径设为动态内容：@dataset().FileName，让数据集每次运行时根据参数值定位到对应Excel文件。

2. 配置带PowerQuery逻辑的映射数据流

   • 创建映射数据流，源节点选择上述参数化的Excel数据集，进入Power Query编辑器编写通用数据处理逻辑（比如清洗、列转换、合并等），该逻辑会自动适配所有结构一致的Excel文件。
   • 配置数据流的Sink节点为目标Azure SQL表，根据需求设置写入模式（追加/覆盖等）。

3. 搭建批量处理管道

   • 添加Get Metadata活动，配置为读取目标Blob文件夹，勾选子项以获取所有.xlsx文件的列表。
   • 添加For Each循环活动，将循环项设置为@activity('Get Metadata活动名称').output.childItems，遍历所有Excel文件。
   • 在循环内部添加执行数据流活动，将当前循环项的完整Blob路径（如@item().fullPath）传入Excel数据集的FileName参数，触发单次文件的PowerQuery处理与SQL写入。

二、替代思路 #

如果上述方案不满足场景需求，可考虑以下两种替代方式：

1. Copy Activity结合轻量转换

   • 若PowerQuery逻辑仅为简单操作（列重命名、类型转换、基础过滤），无需使用数据流，直接在Copy Activity的映射模块配置派生列、字段映射即可。同样配合Get Metadata+For Each循环与参数化数据集，实现批量处理。
   • 优势：配置更轻量化，无需额外数据流资源，适合简单转换场景。

2. Azure Function自定义处理

   • 若PowerQuery逻辑复杂或需要高度自定义，可将Blob文件路径传入Azure Function，在Function中借助Power Query SDK或其他数据处理库（如Pandas）完成数据加工，再写入Azure SQL。
   • 流程：Get Metadata获取文件列表 → For Each循环调用Azure Function并传入文件路径 → Function处理后写入SQL。
   • 优势：支持复杂自定义逻辑，不受ADF内置功能限制。

注意事项 #

• 确保所有待处理Excel文件结构一致，否则PowerQuery逻辑可能报错；若存在结构差异，可在数据流中添加条件分支或PowerQuery错误处理逻辑（如Table.ErrorHandling）适配。
• 测试阶段建议先用少量文件验证参数传递、逻辑执行是否正常，再批量运行。

内容的提问来源于stack exchange，提问作者Mayank Dhami