Spark SQL删除Delta表重复数据：DELETE语句失效原因咨询

核心原因：Spark SQL的DELETE语法限制 #

Spark SQL的DELETE操作要求目标必须是可更新的表或视图，而包含窗口函数的CTE（子查询sub）属于临时计算结果，并非直接映射到底层物理表的可更新关系：

• 窗口函数（如row_number()）会生成新的计算列，此时CTE返回的是经过转换后的数据集，Spark无法将这些计算后的行与原Delta表的物理行建立直接关联，也就无法执行删除操作。
• 对比传统关系型数据库：部分关系型数据库允许对基于单一表的简单CTE执行DELETE，但Spark SQL对可更新视图的规则更严格——只有未经过复杂转换（如窗口、聚合、JOIN）的视图/CTE才能被更新。

Delta表的存储特性影响 #

Delta表基于Parquet格式实现事务管理，其更新/删除操作并非直接修改原数据文件，而是通过生成新数据文件、标记旧文件为无效的方式实现（即MVCC多版本并发控制）。这种机制要求DELETE操作必须明确指向原表的行，而窗口函数生成的CTE无法提供这种直接关联：

• 你的子查询sub只是读取原表数据并添加计算列，它不持有原表的事务元数据（如文件版本、行的物理位置），因此Spark无法通过这个CTE定位到原表中需要删除的物理行。

补充：Spark SQL删除Delta表重复行的正确方式 #

除了你用的MERGE INTO+时间旅行，还可以用以下两种方式：

1. 筛选保留行后覆盖写入（Delta会自动保证原子性）：

CREATE OR REPLACE TABLE vbzdev.mad.people
AS SELECT DISTINCT * FROM vbzdev.mad.people;

或用窗口函数筛选保留第一行后覆盖：

CREATE OR REPLACE TABLE vbzdev.mad.people
AS SELECT name, age, direction
FROM (
    SELECT *, row_number() over (partition by name, age, direction order by name) as instance
    FROM vbzdev.mad.people
) t
WHERE instance = 1;

2. 使用MERGE INTO直接关联原表：

MERGE INTO vbzdev.mad.people t
USING (
    SELECT name, age, direction,
           row_number() over (partition by name, age, direction order by name) as instance
    FROM vbzdev.mad.people
) s
ON t.name = s.name AND t.age = s.age AND t.direction = s.direction
WHEN MATCHED AND s.instance > 1 THEN DELETE;

内容的提问来源于stack exchange，提问作者iliasoto