Azure Blob至SQL自动复制：新手技术需求咨询

推荐服务 #

优先使用 Azure Data Factory (ADF)，完全满足你的需求，无需额外服务；若需更灵活的自定义逻辑，可搭配 Azure Functions，但ADF的可视化组件已能完成核心流程。

问题逐一解决 #

1. 创建含动态源（新上传文件）的管道 #

• 配置Blob存储链接服务：在ADF中新建「链接服务」，选择Azure Blob存储，关联你的存储账户。
• 构建动态Excel数据集：
  • 新建Excel数据集，关联上述Blob链接服务，设置文件路径为目标容器+文件夹，文件名留空。
  • 给数据集添加参数 FileName，将文件名字段设为 @dataset().FileName，实现文件名动态传入。
• 管道中传递参数：在管道里定义同名参数 FileName，将数据集的FileName参数绑定为 @pipeline().parameters.FileName，后续通过触发器或手动传入新文件的名称。

2. 触发管道并获取文件名 #

• 使用Blob存储触发器：
  • 在ADF的「触发器」菜单新建「Blob存储触发器」，指定监控的容器、文件夹，触发条件选「当创建或修改文件时」。
  • 在触发器的「参数」设置中，添加参数 FileName，值设为 @triggerBody().fileName（触发器自带的文件名字段）。
  • 将触发器绑定到管道，把触发器的FileName参数映射到管道的同名参数，这样每次新文件上传时，管道就能自动拿到文件名。
• 手动测试：手动触发管道时，直接输入测试文件名即可验证流程。

3. 逐行读取并动态选择Sink表 #

推荐先批量导入临时表再分流，比逐行处理效率更高：

1. 批量导入临时表：
   • 用「Copy Data」活动，源为动态Excel数据集（传入当前文件名），Sink选择SQL数据库的临时表（比如dbo.TempExcelData，需提前创建结构与Excel一致的表）。
2. 获取分流标识：
   • 用「Lookup」活动查询临时表，SQL语句写 SELECT * FROM dbo.TempExcelData，获取所有行数据及用于分流的指定列（比如Category）。
3. 动态分流处理：
   • 添加「For Each」活动，遍历Lookup返回的结果集（设置 @activity('Lookup活动名称').output.value）。
   • 在For Each内部添加「Switch」活动，判断条件设为 @item().Category（替换为你的分流列名），每个分支对应一个「Copy Data」活动：
     • 每个分支的Copy Data活动，源为临时表（添加筛选条件 WHERE Category = '@item().Category'），Sink选择对应的SQL目标表。
   • 若目标表名与分流列值直接对应（比如列值是Sales则表名是dbo.Sales），也可直接用动态表达式设置Sink表名：@concat('dbo.', item().Category)，无需Switch分支，但需确保SQL中已存在所有可能的目标表。

注意事项 #

• 确保SQL链接服务拥有目标表的写入权限，临时表需提前创建或在管道中用「Stored Procedure」活动动态创建。
• Excel数据集需正确配置工作表名，若工作表名固定可直接填写，若动态可添加参数传入。
• 若数据量极大，建议按分流列分组批量处理，避免逐行循环的性能损耗。

内容的提问来源于stack exchange，提问作者Deffo