使用ADF从ADLS向Azure SQL增量加载，如何处理自动主键导致的重复数据？

核心问题在于自动生成的主键ID无法作为重复判断依据，得靠业务层面的唯一标识或增量追踪逻辑来实现真正的增量加载，以下是几种可行方案：

方案1：基于业务唯一键实现Upsert（推荐） #

你的CSV数据里肯定存在业务上唯一的字段/组合字段（比如订单号、用户邮箱+交易日期这类），用它来判断数据是否重复，再通过MERGE操作实现"存在则更新，不存在则插入"：

具体操作： #

1. 给业务键加唯一约束：在Azure SQL目标表中，为业务唯一键（比如order_id）创建唯一约束，避免脏数据：

   ALTER TABLE TargetTable ADD CONSTRAINT UQ_TargetTable_BusinessKey UNIQUE (BusinessKey1, BusinessKey2);
   

2. 用ADF Copy Activity的Upsert模式：
   • 配置Copy Activity时，目标选择Azure SQL数据库，写入行为选择「Upsert」
   • 在「键列」选项中，指定你的业务唯一键（不要选自动生成的ID列）
   • ADF会自动生成MERGE语句，自动处理重复数据
3. 自定义存储过程执行MERGE（更灵活）：
   写一个接收表值参数的存储过程，手动控制MERGE逻辑：

   CREATE PROCEDURE UpsertTargetData
       @SourceData dbo.TargetTableType READONLY
   AS
   BEGIN
       MERGE INTO TargetTable AS t
       USING @SourceData AS s
       ON t.BusinessKey1 = s.BusinessKey1 AND t.BusinessKey2 = s.BusinessKey2
       WHEN MATCHED THEN
           UPDATE SET t.Column1 = s.Column1, t.Column2 = s.Column2
       WHEN NOT MATCHED THEN
           INSERT (Column1, Column2) VALUES (s.Column1, s.Column2);
   END
   

   在ADF中用「Stored Procedure Activity」调用该存储过程，将CSV数据作为表值参数传入。

方案2：基于增量标识追踪新数据 #

通过文件或数据行的增量标识，只加载上次运行后新增的内容：

• 按文件增量加载：如果CSV是按时间分片生成（比如每日一个文件），用ADF的增量复制功能，基于文件的LastModifiedDate筛选，只处理上次运行后新增的文件
• 按行增量加载：如果是单文件持续更新，确保CSV里包含增量字段（比如create_time、update_time），每次加载前用ADF的「Lookup Activity」从SQL表中读取上次加载的最大时间，然后在Copy Activity的源数据集里加筛选条件：

  create_time > '@{activity('LookupLastMaxTime').output.firstRow.MaxTime}'
  

• 注意：需要把上次加载的状态（比如最大时间、最后处理的文件名）存在SQL的日志表或ADF变量中，确保每次运行能衔接上。

方案3：替换自动主键为业务主键（视业务场景） #

如果你的业务唯一键本身适合作为主键，可以去掉SQL自动生成的ID列，将业务键设为主键：

ALTER TABLE TargetTable DROP COLUMN ID;
ALTER TABLE TargetTable ADD CONSTRAINT PK_TargetTable PRIMARY KEY (BusinessKey1, BusinessKey2);

这样插入重复的业务键时会直接报错，再结合Upsert逻辑就能彻底避免重复。

内容的提问来源于stack exchange，提问作者PAVAN