基于复合主键列移除数据库重复数据的技术问询

没问题，我来帮你搞定这个去重需求！你需要保留(col1, col2, col3)组合唯一的行，其中col3允许为NULL——但数据库通常会把不同的NULL视为不相等，所以去重时得特别处理这一点。

方法一：用窗口函数标记并保留唯一行（最通用可靠） #

这个方法适用于绝大多数主流数据库（PostgreSQL、MySQL 8+、SQL Server等），通过给每组重复行编号，只保留编号为1的行：

-- 先查询出去重后的结果，确认没问题再执行删除
WITH ranked_rows AS (
    SELECT 
        col1, col2, col3,
        ROW_NUMBER() OVER (
            PARTITION BY col1, col2, 
                COALESCE(col3, '<<SPECIAL_NULL_MARKER>>') -- 把NULL转成统一标识，确保同组
            ORDER BY (SELECT NULL) -- 不需要特定排序，随机保留一行即可
        ) AS row_num
    FROM your_table
)
SELECT col1, col2, col3
FROM ranked_rows
WHERE row_num = 1;

如果确认结果正确，要删除重复数据的话，MySQL可以用下面的多表删除语句：

DELETE t1
FROM your_table t1
JOIN (
    SELECT 
        col1, col2, col3,
        ROW_NUMBER() OVER (
            PARTITION BY col1, col2, COALESCE(col3, '<<SPECIAL_NULL_MARKER>>')
            ORDER BY (SELECT NULL)
        ) AS row_num
    FROM your_table
) t2 ON t1.col1 = t2.col1 AND t1.col2 = t2.col2 
    AND COALESCE(t1.col3, '<<SPECIAL_NULL_MARKER>>') = COALESCE(t2.col3, '<<SPECIAL_NULL_MARKER>>')
WHERE t2.row_num > 1;

方法二：分组聚合（简单但有局限性） #

如果你的数据库允许在GROUP BY中不包含所有SELECT列（比如关闭MySQL的ONLY_FULL_GROUP_BY），可以直接分组取唯一值：

SELECT col1, col2, col3
FROM your_table
GROUP BY col1, col2, COALESCE(col3, '<<SPECIAL_NULL_MARKER>>');

不过这个方法的兼容性不如窗口函数，而且无法控制保留哪一行重复数据，适合快速验证结果。

关键注意点 #

• 替换语句中的your_table为你的实际表名
• <<SPECIAL_NULL_MARKER>>要选一个不会出现在col3真实数据里的特殊值，避免和正常数据冲突
• 执行删除前一定要备份数据，或者先执行查询语句确认去重结果符合预期

内容的提问来源于stack exchange，提问作者Fofole