如何在大表中删除重复行且无需罗列全部列名？

针对50+列的大表删除重复行需求，无需手动逐个输入列名的方案如下：

方法1：通过系统视图动态生成PARTITION BY列 #

利用数据库系统视图自动获取表的所有列名，拼接成PARTITION BY子句，适合SQL Server、Oracle等支持动态SQL的数据库。

以SQL Server为例：

DECLARE @cols NVARCHAR(MAX), @sql NVARCHAR(MAX)

-- 拼接所有列名（带方括号避免关键字冲突）
SELECT @cols = STRING_AGG(QUOTENAME(name), ', ')
FROM sys.columns
WHERE object_id = OBJECT_ID('YourTable') -- 替换为你的表名

-- 动态生成删除重复行的SQL
SET @sql = N'
WITH CTE_Dups AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY ' + @cols + ' ORDER BY (SELECT NULL)) AS rn
    FROM YourTable
)
DELETE FROM CTE_Dups WHERE rn > 1
'

EXEC sp_executesql @sql

注：SQL Server 2017及以上支持STRING_AGG，旧版本可替换为STUFF((SELECT ', ' + QUOTENAME(name) FROM sys.columns WHERE object_id=OBJECT_ID('YourTable') FOR XML PATH('')), 1, 2, '')来拼接列名。

方法2：通过哈希值分组整行数据 #

直接计算整行的哈希值作为分组依据，无需列名参与。

SQL Server示例：

WITH CTE_Dups AS (
    SELECT *,
           -- 用SHA2_256哈希整行数据
           ROW_NUMBER() OVER (PARTITION BY HASHBYTES('SHA2_256', (SELECT t.* FOR XML RAW)) ORDER BY (SELECT NULL)) AS rn
    FROM YourTable t
)
DELETE FROM CTE_Dups WHERE rn > 1

注：哈希值存在极小冲突概率，对数据一致性要求极高的场景，可同时计算多个哈希值（如SHA2_256+MD5）降低风险。

方法3：PostgreSQL专属方案（行构造器） #

PostgreSQL支持直接用ROW(*)表示整行数据，可直接用于PARTITION BY：

WITH CTE_Dups AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY ROW(*) ORDER BY (SELECT NULL)) AS rn
    FROM your_table
)
DELETE FROM your_table
WHERE ctid IN (SELECT ctid FROM CTE_Dups WHERE rn > 1);

注：ctid是PostgreSQL内置的行唯一标识符，用于精准定位待删除行。

重要提醒 #

• 执行删除操作前务必备份数据，避免不可逆的误操作。
• 若表存在主键、唯一索引或业务唯一列，优先用这些列分组，性能远高于全列/哈希方案。
• 动态SQL使用时确保表名可信，避免SQL注入风险。

内容的提问来源于stack exchange，提问作者glop11294484