使用MERGE INTO合并Spark DataFrame遇语法错误及操作流程疑问

一、MERGE INTO语句的语法错误修正 #

你的语句存在两个关键语法问题：

1. USING子句不能直接引用DataFrame变量：Spark SQL无法识别字符串嵌入的DataFrame对象，必须先将spark_df注册为临时视图。
2. INSERT取值错误：不能直接在SQL中引用Python的DataFrame列对象，要通过USING子句定义的表别名引用源列。

修正步骤：

1. 先将DataFrame注册为临时视图：

spark_df.createOrReplaceTempView("source_temp")

2. 修正后的MERGE INTO语句：

MERGE INTO x.y_delta AS m
USING source_temp AS s
ON m.id = s.id
WHEN MATCHED THEN
  UPDATE SET m.colnew_1 = s.myCol  -- 仅更新新增列，id无需重复赋值
WHEN NOT MATCHED THEN
  INSERT (id, colnew_1) VALUES (s.id, s.myCol)

二、Delta表的操作流程说明 #

MERGE INTO仅支持Delta表，操作流程分两种情况：

情况1：原表不是Delta表 #

不需要先创建空Delta表再复制数据，直接从原表生成带新增列的Delta表更高效：

-- 直接创建Delta表，包含原表所有列+要追加的新列（用NULL填充初始值）
CREATE TABLE x.y_delta 
USING DELTA 
AS SELECT *, NULL AS colnew_1, NULL AS colnew_2 FROM x.y;

之后再执行上面修正后的MERGE INTO语句，合并spark_df的数据。

情况2：原表已经是Delta表 #

先给原表添加需要追加的列：

-- 根据实际列类型调整，比如string、int等
ALTER TABLE x.y ADD COLUMNS (colnew_1 string, colnew_2 int);

然后直接在原表上执行MERGE INTO操作即可，无需新建表。

内容的提问来源于stack exchange，提问作者pymat