Azure Synapse从临时表插入最终表时随机产生重复数据求助

• 检查最终表约束状态
  确认最终表的3列复合主键/唯一约束是否生效。Synapse中若约束处于NOCHECK或禁用状态，无法拦截重复插入。执行以下语句验证：

  SELECT name, is_disabled, is_not_trusted 
  FROM sys.key_constraints 
  WHERE parent_object_id = OBJECT_ID('最终表名') AND type IN ('PK', 'UQ');
  

  若约束异常，重新启用：

  ALTER TABLE 最终表名 WITH CHECK CHECK CONSTRAINT 约束名;
  ALTER TABLE 最终表名 ENABLE CONSTRAINT 约束名;
  

• 排查并发插入冲突
  若INSERT为多会话并行执行（如批量作业、Spark任务），可能因事务隔离级别问题导致重复插入。可尝试：

  • 改用单会话批量插入，或添加TABLOCK提示优化并避免并发冲突：

    INSERT INTO 最终表名 WITH (TABLOCK)
    SELECT 列1, 列2, 列3, 其他列 FROM 临时表名;
    

  • 确认INSERT期间无其他进程往最终表写入数据。

• 二次验证临时表数据唯一性
  排除数据类型隐式转换、NULL值等隐性问题导致的“伪唯一”：

  SELECT 列1, 列2, 列3, COUNT(*) AS cnt
  FROM 临时表名
  GROUP BY 列1, 列2, 列3
  HAVING COUNT(*) > 1;
  

  注意：Synapse中NULL值会被视为相等，若复合键含允许NULL的列，需确认是否存在多行为NULL的情况。

• 检查INSERT语句逻辑
  确认SELECT子查询无重复返回数据，比如JOIN逻辑错误、循环执行多次INSERT等情况。

• 用MERGE替代INSERT规避重复
  若上述方法无效，改用MERGE仅插入最终表不存在的记录：

  MERGE INTO 最终表名 AS target
  USING 临时表名 AS source
  ON target.列1 = source.列1 
  AND target.列2 = source.列2 
  AND target.列3 = source.列3
  WHEN NOT MATCHED THEN
      INSERT (列1, 列2, 列3, 其他列)
      VALUES (source.列1, source.列2, source.列3, source.其他列);
  

  大表操作可添加TABLOCK提示优化性能。

内容的提问来源于stack exchange，提问作者Monika Patel