如何更新Azure Data Factory内置复制任务源数据集以包含新增SQL表？

问题原因 #

你通过Ingest向导创建的全库复制管道，是静态生成每个现有表的复制任务——向导执行时仅扫描当时存在的表，后续新增的表不会自动被纳入管道的任务列表，因此触发活动时不会同步新表。

解决方案 #

方案1：手动更新现有管道（适合偶尔新增表的场景）

• 打开Azure Data Factory Studio，找到目标全库复制管道
• 进入管道编辑界面，点击顶部「添加活动」，选择「复制数据」活动
• 为新复制活动配置：数据源选择新增的SQL Server表，目标路径遵循原有表的ADLS Gen2命名规则（比如容器下以表名命名的文件）
• 保存并发布管道，再次触发即可同步新表

方案2：创建动态管道（适合频繁新增表的场景）

这种方式会自动扫描源数据库所有表（含新增表），无需手动维护任务列表：

1. 添加Get Metadata活动
   • 新建管道，添加「Get Metadata」活动（命名为GetAllTables）
   • 配置数据源：选择你的SQL Server数据集，勾选「字段列表」中的Child Items，并将数据集的「表名」设为*（代表所有表）
2. 添加For Each活动
   • 将Get Metadata的输出作为For Each的输入，输入表达式：@activity('GetAllTables').output.childItems
   • 在For Each内部添加「复制数据」活动
3. 动态配置复制活动
   • 数据源：选择SQL Server数据集，「表名」使用动态内容：@item().name
   • 目标：选择ADLS Gen2数据集，「文件路径」使用动态内容（示例：@concat('your-container/', item().name, '.parquet')，匹配原有文件格式）
   • 根据需求配置其他复制属性（如增量同步、数据格式）
4. 保存并发布管道，触发后将自动同步所有表，包括新增表

内容的提问来源于stack exchange，提问作者mohammadAli