Azure Data Factory复制数据活动:全量与增量加载查询超时参数化
在Azure Data Factory中参数化复制数据活动的查询超时(全量/增量区分配置)
步骤1:创建管道参数
给目标管道添加一个用于区分加载类型的参数,推荐用布尔型参数isFullLoad:
- 进入管道编辑页,点击顶部「参数」选项卡
- 新建参数,类型选布尔值,名称设为
isFullLoad,默认值可设为true(对应全量加载)或false(对应增量加载)
步骤2:配置动态查询超时
找到复制数据活动的源配置面板,在「高级」选项中找到「查询超时」设置,替换为以下动态表达式:
@if(pipeline().parameters.isFullLoad, 7200, 2700)
参数说明:
- 7200秒 = 2小时(适配全量加载场景)
- 2700秒 = 45分钟(适配增量加载场景)
如果偏好使用字符串类型参数(比如loadType,取值为Full或Incremental),可改用以下表达式:
@if(equals(pipeline().parameters.loadType, 'Full'), 7200, 2700)
步骤3:运行时传入参数
- 手动运行管道时,在弹出的参数设置窗口中,按需勾选
isFullLoad(或选择loadType的对应值) - 若通过触发器自动触发,直接在触发器的「参数」配置项中固定对应值即可
注意事项
- 查询超时的单位为秒,ADF中该设置统一采用秒作为计算单位,需注意不要混淆单位
- 部分数据源的查询超时选项可能在源配置的细分位置,但基本都归类在「高级」选项下,可根据数据源类型自行查找
内容的提问来源于stack exchange,提问作者bigdata techie
相关产品推荐
相关产品推荐

