Azure Data Factory复制活动能否使用不同自托管集成运行时及实现方法
能否用不同自托管集成运行时执行ADF复制管道?
可以实现,但单个复制活动没法直接用两个不同的自托管IR——ADF的复制活动要求源和目标连接必须绑定到同一个运行时(不管是自托管还是托管类型)。要绕开这个限制,得通过中间存储中转拆分任务,具体操作如下:
实现步骤
- 先在Azure上建个Blob Storage(或ADLS Gen2)当中转存储,这个存储用默认的托管集成运行时就行,不用自托管IR。
- 第一个复制活动:把源端(本地数据库)的连接绑定你的源自托管IR,目标选刚才的中转Blob Storage,把数据同步过去,格式推荐用Parquet(压缩率高、性能好),CSV或JSON也可以。
- 第二个复制活动:源选中转Blob Storage,目标端(云数据库)的连接绑定你的目标自托管IR,把中转里的数据同步到目标库。
- 最后在管道里把两个复制活动设为顺序执行(第一个跑完成功了再触发第二个),保证数据完整流转。
注意点
- 中转存储的权限要配对,得让ADF有读写权限;
- 可以加个清理步骤,第二个活动跑完后删掉中转里的临时数据,省空间;
- 数据量大的话,建议用增量复制或者分批次同步,提升效率。
内容的提问来源于stack exchange,提问作者Azure Cloud Enthusiast
相关产品推荐
相关产品推荐

