如何无需加载至DataFrame，在内存中清理生产环境Delta表重复数据？

你的问题核心是大数量Delta表去重时，dropDuplicates()因数据量过大耗时太长，想绕开全量加载DataFrame的方式，但之前的MERGE INTO逻辑完全搞反了——你把去重后的数据集作为source，匹配到就删除target行，等于把所有该保留的唯一行都删了，剩下的全是冗余重复行，执行VACUUM清理旧版本后自然就没数据了。

下面给你两种靠谱的解决方案：

方法1：直接创建去重后的新表（最高效） #

不需要全量加载数据到内存，用SQL直接基于原表生成去重后的新表并原子替换原表：

CREATE OR REPLACE TABLE delta.`{delta_table_path}`
AS SELECT DISTINCT * FROM delta.`{delta_table_path}`

如果只需要基于特定列（比如col、col1）判断重复，且想保留每组中最新的一行，用窗口函数更精准：

CREATE OR REPLACE TABLE delta.`{delta_table_path}`
AS
SELECT *
FROM (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY col, col1 ORDER BY _commit_timestamp DESC) AS rn
    FROM delta.`{delta_table_path}`
) t
WHERE rn = 1

这个方式利用Spark分布式计算处理，全程不需要把数据加载到内存，而且是原子操作，不会出现中间数据丢失的风险。

方法2：正确的MERGE INTO逻辑（适合保留原表历史版本的场景） #

如果不想替换原表，而是在原表基础上删除冗余重复行，需要调整MERGE INTO的逻辑：先找出所有需要删除的重复行，再精准匹配删除：

-- 先标记出所有需要删除的冗余行（保留每组最新的一行）
WITH duplicate_rows AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY col, col1 ORDER BY _commit_timestamp DESC) AS rn
    FROM delta.`{delta_table_path}`
)
MERGE INTO delta.`{delta_table_path}` AS target
USING duplicate_rows AS source
-- 用Delta内部唯一标识_row_id精准匹配要删除的行
ON target._row_id = source._row_id
WHEN MATCHED AND source.rn > 1 THEN DELETE

注意：_row_id是Delta的隐藏列，需先开启行跟踪功能才能使用：

ALTER TABLE delta.`{delta_table_path}` SET TBLPROPERTIES ('delta.enableRowTracking' = 'true')

关于VACUUM的重要提醒 #

执行VACUUM前务必确认：

• 没有正在运行的读写作业
• 要删除的旧版本确实不再需要
• 建议先执行保留历史版本的命令，比如VACUUM delta.{delta_table_path} RETAIN 7 DAYS，避免误删最近的数据版本

内容的提问来源于stack exchange，提问作者Spook