You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

使用ADF复制活动选Insert模式,多次运行管道会导致数据重复吗?

Azure Data Factory复制活动「Insert」选项的行为说明
  • 当复制活动接收器选择「Insert」模式时,多次运行管道会导致目标表数据重复。
  • 这个模式的核心逻辑是:每次执行都会把源表当前的全量符合条件的数据(如果配置了源筛选规则)插入到目标表,不会检查目标表中是否已存在相同数据,也不会自动识别源表的新增行。
  • 若要实现仅插入源表新增行的需求,需要采用增量复制方案,常见方式包括:
    • 基于时间戳、自增主键等字段,在源端配置增量筛选条件,每次只读取新增数据
    • 切换为「Upsert」模式(需指定目标表主键,数据存在则更新,不存在则插入)
    • 利用ADF的变更数据捕获(CDC)功能追踪源表数据变化,仅同步增量内容

内容的提问来源于stack exchange,提问作者BlakeB9

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.24 08:07:02