如何通过Azure Data Factory参数复制特定SQL数据记录？

完全可以仅通过ADF、参数和触发器实现这个需求，不需要额外工具支持，具体实现步骤如下：

1. 给数据管道添加筛选参数 #

在ADF的数据管道中创建一个（或多个）参数，用于传递筛选条件。比如按日期筛选就创建日期/时间类型的参数p_FilterDate；按ID或字符串筛选则对应创建字符串或整数类型的参数，命名可根据业务场景自定义。

2. 配置源数据集（本地SQL）的筛选查询 #

在本地SQL的源数据集配置中，选择自定义SQL查询作为数据获取方式，将参数嵌入到WHERE子句中。举两个常见场景的示例：

• 字符串类型筛选参数（比如按客户ID）：

  SELECT * FROM LocalCustomerTable WHERE CustomerID = '@p_FilterCustomerID'
  

  随后在数据集的参数绑定中，把@p_FilterCustomerID关联到管道的同名参数。
• 日期类型筛选参数（比如按订单日期）：
  用ADF动态内容拼接SQL，避免日期格式问题：

  @concat('SELECT * FROM LocalOrderTable WHERE OrderDate >= ''', formatDateTime(pipeline().parameters.p_FilterDate, 'yyyy-MM-dd'), '''')
  

  这段内容会自动把管道参数的日期格式转为SQL可识别的字符串，拼接到查询中。

3. 配置目标数据集（Azure SQL） #

正常配置Azure SQL的目标数据集，指定要写入的表名，确保源表和目标表的字段结构匹配即可。如果需要增量写入，可在复制活动的设置中选择合适的写入行为（比如追加或Upsert）。

4. 通过触发器传递参数 #

根据触发需求，选择对应的触发器类型并绑定参数：

• 手动触发：运行管道时，直接在弹出的参数输入框中填写筛选值即可。
• 调度触发器：设置定时触发规则（比如每天凌晨运行），在触发器的参数选项卡中，给管道参数指定固定值，或用ADF系统变量动态生成（比如用@utcnow()作为当日的筛选日期）。
• 事件触发器：若需基于事件（比如本地SQL有数据更新事件）触发，也可在事件触发器中传递预设的筛选参数。

注意事项 #

• 确保本地SQL的自托管集成网关已正确配置，ADF能正常连接到本地数据库。
• 参数类型要和SQL表中筛选列的类型严格匹配，避免出现SQL语法错误或数据类型不兼容问题。
• 若需复杂的多条件筛选，可添加多个管道参数，在SQL查询中组合使用（比如WHERE ColumnA = @p_ParamA AND ColumnB >= @p_ParamB）。

内容的提问来源于stack exchange，提问作者Kevin