如何删除无PK的Snowflake表中因MERGE产生的重复记录

针对你描述的无主键表存在完全重复行的问题，可以通过窗口函数给重复行分配唯一行号的方式，保留指定条目（如最早插入的记录）并删除重复项。以下是主流数据库的具体实现：

Oracle 实现 #

利用ROW_NUMBER()窗口函数分组重复列，结合ROWID（Oracle中记录的物理标识符，插入顺序越早值越小）筛选需要删除的重复项：

DELETE FROM your_final_table
WHERE ROWID IN (
    SELECT rid
    FROM (
        SELECT 
            ROWID AS rid,
            ROW_NUMBER() OVER (
                PARTITION BY FIRST_NAME, LAST_NAME, CREATED_DATE 
                ORDER BY ROWID
            ) AS rn
        FROM your_final_table
    )
    WHERE rn > 1
);

• PARTITION BY：按重复列分组（即你认为构成重复的字段组合）
• ORDER BY ROWID：保留最早插入的记录，若需保留其他逻辑可替换为控制列（如加载时间）
• rn > 1：删除每组中除第一条外的所有重复记录

MySQL 实现 #

8.0+ 版本（支持窗口函数） #

WITH ranked_rows AS (
    SELECT 
        *,
        ROW_NUMBER() OVER (
            PARTITION BY FIRST_NAME, LAST_NAME, CREATED_DATE 
            ORDER BY id -- 若有自增控制列用此，无则替换为加载时间或留空取任意
        ) AS rn
    FROM your_final_table
)
DELETE FROM your_final_table
WHERE id IN (SELECT id FROM ranked_rows WHERE rn > 1);

5.x 版本（无窗口函数） #

通过自连接筛选重复项，需依赖可区分顺序的列（如自增ID、加载时间）：

DELETE t1
FROM your_final_table t1
JOIN your_final_table t2 
ON t1.FIRST_NAME = t2.FIRST_NAME 
AND t1.LAST_NAME = t2.LAST_NAME 
AND t1.CREATED_DATE = t2.CREATED_DATE
AND t1.load_time > t2.load_time; -- 用控制列判断先后，保留更早的记录

SQL Server 实现 #

WITH ranked_rows AS (
    SELECT 
        *,
        ROW_NUMBER() OVER (
            PARTITION BY FIRST_NAME, LAST_NAME, CREATED_DATE 
            ORDER BY load_time ASC -- 用控制列指定保留的记录，无则用(SELECT NULL)取任意
        ) AS rn
    FROM your_final_table
)
DELETE FROM ranked_rows
WHERE rn > 1;

后续预防建议 #

1. 修复MERGE语句的JOIN逻辑：针对NULL字段，需用NULL兼容的匹配条件，例如：

   -- 替换原JOIN中的 col1 = col2
   (col1 = col2 OR (col1 IS NULL AND col2 IS NULL))
   -- 部分数据库支持简化写法：col1 IS NOT DISTINCT FROM col2
   

   避免因NULL值不相等导致MERGE执行插入而非更新。

2. 添加唯一约束：基于业务主键（如FIRST_NAME, LAST_NAME, CREATED_DATE）添加唯一约束，从根源阻止重复数据插入：

   -- Oracle/MySQL/SQL Server通用语法
   ALTER TABLE your_final_table
   ADD CONSTRAINT uq_final_table_unique UNIQUE (FIRST_NAME, LAST_NAME, CREATED_DATE);
   

内容的提问来源于stack exchange，提问作者Sridhar