如何在Azure Data Factory中开发同步管道并配置触发器（含ref、elr表说明）

一、同步管道开发步骤 #

• 先完成源和目标链接服务配置
  提前创建源SQL数据库、目标存储/数据库对应的链接服务，确保ADF使用的认证账号对SQL库中的ref、elr两张表有读取权限，对目标端的对应写入对象有读写权限。
• 配置复制数据活动
  在管道编辑界面拖入复制数据活动，进入活动的配置页分别设置源和目标规则：

  源侧：选中已配置的源SQL链接服务，数据源类型选择“表”后直接选中ref或elr表作为同步源，若需要做数据过滤可选择“自定义查询”，自行写SQL语句筛选要同步的字段和数据行。
  目标侧：选中已配置的目标链接服务，匹配对应目标表的结构，按需选择全量覆盖或增量追加的写入模式。如果是增量同步场景，可以搭配水印列实现每次仅同步新增/变更的数据。

• 调试验证管道功能
  点击管道编辑页的「调试」按钮试运行，检查ref、elr表的数据同步结果是否符合预期，如有报错可通过活动运行日志排查字段映射、权限、资源连通性类问题。

二、同步管道触发器配置步骤 #

• 新建触发器
  打开要配置的管道页面，点击顶部的「添加触发器」->「新建/编辑」，选择新建触发器，根据同步场景选择对应的触发器类型：
  • 计划触发器：按固定时间周期（分钟/小时/天/周/月）触发，适合定期全量同步的场景。
  • 翻转窗口触发器：按固定大小的时间窗口触发，可保证每个时间窗口的任务仅运行一次，适合对时间序列数据做增量同步的场景。
  • 存储事件触发器：监听源端的文件新增、修改等事件触发运行，适合源数据更新后需要立刻同步的场景。
• 配置触发器规则
  按需设置触发器的运行周期、生效起止时间、重试策略，如果管道需要动态传入参数（比如同步的表名、数据时间范围），可以在触发器参数中配置对应值后传递给管道。
• 发布启用触发器
  触发器配置完成后点击保存，再点击ADF工作室顶部的「全部发布」按钮提交所有配置，发布完成后触发器就会按照设定的规则自动触发同步管道运行。

内容的提问来源于stack exchange，提问作者Kolli Sai Babu Chowdary