如何在Azure Data Factory中将Copy Data活动声明为跨管道可复用对象
针对Azure Data Factory / Azure Synapse 管道的实现方案
你要把通用Copy Data活动转为全管道可复用资源,通常有两种成熟实现方式,可根据你的使用场景选择:
方案1:封装为独立可调用的通用日志管道(最推荐,无重复配置)
- 新建一个独立管道,命名为
通用_写入管道运行日志到SQL,把你已经调试完成的Copy Data活动迁移到这个管道中 - 给这个通用管道配置入参,把Copy Data活动中需要随调用方动态变化的内容全部替换为参数引用,通常需要参数化的字段包括:调用方管道ID、管道名称、运行状态、执行耗时、错误信息、触发类型等日志字段值,如果你有不同业务线要写入不同SQL表的需求,也可以把目标表名设为参数
- 发布这个通用管道后,所有业务管道都可以在需要记录日志的节点(比如执行成功/失败分支)添加
执行管道活动,调用这个通用日志管道,把当前管道的运行时系统变量值作为参数传入即可,完全不需要重复配置Copy Data逻辑
方案2:保存为活动模板,适合快速插入到任意管道
- 打开你现有配置好Copy Data活动的管道,选中该Copy Data活动
- 点击操作栏的「保存为模板」按钮,填写模板名称、分类说明后保存
- 后续新建任意管道时,都可以在活动模板库找到你保存的这个Copy Data模板,一键插入到当前管道使用,只需要微调动态参数即可完成配置
小提示:如果要进一步减少重复配置,可以把Copy Data用到的源、目标SQL数据集也设置为共享的参数化数据集,所有管道直接复用同一个数据集资源,不需要重复创建SQL连接配置。
内容的提问来源于stack exchange,提问作者Henk
相关产品推荐
相关产品推荐

