SQL Server：含标识列时合并表如何避免非主键字段重复

嘿，这个问题我之前帮不少开发者捋清楚过——核心就是绕开那个自动生成的标识主键，只拿业务实际字段来判断重复对吧？下面给你几种实用的方案，适配不同的数据库和场景：

方案一：用NOT EXISTS精准匹配业务字段 #

这是最通用的方法，不管你用SQL Server、MySQL还是PostgreSQL都能直接用。核心思路就是：只把原始表中业务字段组合在目标表中不存在的行插入进去，完全忽略标识列。

假设你的原始表是source_table，标识列是id，业务字段是col1, col2, col3，目标表是target_table，SQL代码如下：

INSERT INTO target_table (col1, col2, col3)
SELECT s.col1, s.col2, s.col3
FROM source_table s
WHERE NOT EXISTS (
    SELECT 1
    FROM target_table t
    -- 这里只对比业务字段，完全不碰标识列
    WHERE t.col1 = s.col1
      AND t.col2 = s.col2
      AND t.col3 = s.col3
);

如果业务字段特别多，一个个写条件太麻烦，也可以用哈希值简化（注意处理NULL值），比如SQL Server里：

INSERT INTO target_table (col1, col2, col3)
SELECT s.col1, s.col2, s.col3
FROM source_table s
WHERE NOT EXISTS (
    SELECT 1
    FROM target_table t
    WHERE HASHBYTES('SHA2_256', CONCAT(ISNULL(t.col1,''), ISNULL(t.col2,''), ISNULL(t.col3,'')))
          = HASHBYTES('SHA2_256', CONCAT(ISNULL(s.col1,''), ISNULL(s.col2,''), ISNULL(s.col3,'')))
);

方案二：用MERGE语句（支持的数据库） #

如果你的数据库支持MERGE（比如SQL Server、Oracle），这个方法更灵活，既能插入新行，还能顺便处理更新（如果需要的话）。同样是基于业务字段匹配：

MERGE INTO target_table t
-- 先从原始表中剥离标识列，只取业务数据
USING (SELECT col1, col2, col3 FROM source_table) s
-- 匹配条件只看业务字段
ON (t.col1 = s.col1 AND t.col2 = s.col2 AND t.col3 = s.col3)
-- 当目标表中没有匹配的行时，执行插入
WHEN NOT MATCHED THEN
    INSERT (col1, col2, col3)
    VALUES (s.col1, s.col2, s.col3);

方案三：重建目标表（允许清空的场景） #

如果你的目标表可以定期清空重建，那这个方法最简单：先把原始表按业务字段去重，再批量插入到空的目标表中：

-- 先清空目标表（TRUNCATE比DELETE快，适合大数据量）
TRUNCATE TABLE target_table;

-- 插入去重后的业务数据
INSERT INTO target_table (col1, col2, col3)
SELECT DISTINCT col1, col2, col3
FROM source_table;

方案四：MySQL专属：唯一索引+ON DUPLICATE KEY UPDATE #

如果你用的是MySQL，可以先给目标表的业务字段创建唯一索引，然后利用INSERT ... ON DUPLICATE KEY来跳过重复行：

-- 给业务字段组合创建唯一索引（只需要执行一次）
CREATE UNIQUE INDEX idx_target_business_unique ON target_table (col1, col2, col3);

-- 插入数据，遇到重复就跳过（空更新相当于不操作）
INSERT INTO target_table (col1, col2, col3)
SELECT col1, col2, col3 FROM source_table
ON DUPLICATE KEY UPDATE col1 = col1;

关键提醒 #

不管用哪种方法，核心都是基于业务上的唯一字段组合来判断重复，而不是依赖数据库自动生成的标识主键。如果不确定哪些字段是业务唯一的，一定要先和业务方确认哦！

内容的提问来源于stack exchange，提问作者HarryH247