使用ADF复制活动选Insert模式,多次运行管道会导致数据重复吗?
Azure Data Factory复制活动「Insert」选项的行为说明
- 当复制活动接收器选择「Insert」模式时,多次运行管道会导致目标表数据重复。
- 这个模式的核心逻辑是:每次执行都会把源表当前的全量符合条件的数据(如果配置了源筛选规则)插入到目标表,不会检查目标表中是否已存在相同数据,也不会自动识别源表的新增行。
- 若要实现仅插入源表新增行的需求,需要采用增量复制方案,常见方式包括:
- 基于时间戳、自增主键等字段,在源端配置增量筛选条件,每次只读取新增数据
- 切换为「Upsert」模式(需指定目标表主键,数据存在则更新,不存在则插入)
- 利用ADF的变更数据捕获(CDC)功能追踪源表数据变化,仅同步增量内容
内容的提问来源于stack exchange,提问作者BlakeB9
相关产品推荐
相关产品推荐

