本地SQL Server到Azure SQL Server增量复制主键重复错误排查

核心错误信息 #

ErrorCode=SqlOperationFailed,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=A database operation failed with the following error: 'Violation of PRIMARY KEY constraint '$0'. Cannot insert duplicate key in object 'dbo.. The duplicate key value is (X596LAMONT, 34, 274274, 1). The statement has been terminated.',Source=,''Type=System.Data.SqlClient.SqlException,Message=Violation of PRIMARY KEY constraint '$0'. Cannot insert duplicate key in object 'dbo.. The duplicate key value is (X596LAMONT, 34, 274274, 1). The statement has been terminated. ,Source=.Net SqlClient Data Provider,SqlErrorNumber=2627,Class=14,ErrorCode=-2146232060,State=1,Errors=[{Class=14,Number=2627,State=1,Message=Violation of PRIMARY KEY constraint '$0'. Cannot insert duplicate key in object 'dbo.. The duplicate key value is (X596LAMONT, 34, 274274, 1).,},{Class=0,Number=3621,State=0,Message=The statement has been terminated.,},],'

可能的原因及排查步骤 #

1. ADF增量复制逻辑异常 #

• 检查水印列配置：确认增量复制依赖的时间戳/自增ID列是否正确，是否存在源数据更新后水印未正常推进的情况。比如源端数据被多次更新，导致ADF重复抓取同一条数据；若管道有重试机制，首次尝试可能已完成部分插入（后续事务回滚不彻底），导致重试时触发冲突。
• 查看复制活动日志：在ADF监控页查看该活动的详细日志，确认每次复制的数据源范围，是否包含重复主键的记录。
• 审计目标库事务日志：查询目标库是否存在该主键的插入/删除记录，排查是否是事务提交或回滚的时间差导致你查询时无记录，但复制过程中已存在冲突。

2. 源端数据的隐性问题 #

• 验证主键字段类型匹配：确认源端与目标端的主键字段类型、长度、编码完全一致。比如源端varchar与目标端nvarchar，或字段存在隐性空格/大小写差异，导致你查询时误以为目标无记录，但插入时因严格匹配触发冲突。
• 排查源端并发写入：复制期间源端是否有其他进程写入该表？比如复制过程中源端插入了相同主键的数据，你验证源端时是在复制完成后，因此未查到重复。可开启源端事务日志审计，查看复制时段的写入操作。
• 强制校验源端主键重复：执行SQL语句确认是否存在隐性重复：

  SELECT 主键列1,主键列2,主键列3,主键列4, COUNT(*) 
  FROM 源表 
  GROUP BY 主键列1,主键列2,主键列3,主键列4 
  HAVING COUNT(*) >1
  

3. ADF复制内部机制盲区 #

• 批量插入事务问题：ADF默认使用批量插入，若批次中某条数据冲突，可能出现分段提交的部分数据残留，导致后续重试时冲突，但最终事务回滚后你查询目标无记录。
• 临时表残留：ADF复制时可能使用临时表，之前的失败可能导致临时表数据未清理，后续复制时误将残留数据导入目标，触发主键冲突。可检查目标库的临时表（如##开头的表）是否有相关数据。

4. 源端近期更新的影响 #

• 确认源端近期是否修改了该表的主键定义：比如新增/修改主键字段，或调整了主键约束的生效逻辑。
• 排查源端新上线的ETL/写入流程：是否有新流程导致数据在复制前被重复生成或修改。

临时验证与解决 #

• 暂停管道后执行全量截断重载，重启增量复制观察是否仍报错。
• 临时修改复制活动的冲突解决策略：在"设置"中设置为"覆盖"，观察能否正常运行，同时检查目标数据是否真的存在重复，以此验证冲突的真实原因。

内容的提问来源于stack exchange，提问作者Tejaswini Mummadi