PySpark与Iceberg：Merge Into中UPDATE *语法报错如何解决？

问题场景 #

在AWS EMR Studio中执行PySpark的Iceberg Merge Into语句：

MERGE INTO iceberg_catalog.staging.tbl AS t
USING tempview AS s
ON t.number = s.number
WHEN MATCHED THEN UPDATE *
WHEN NOT MATCHED THEN INSERT *

触发报错：

pyspark.sql.utils.ParseException:
Syntax error at or near '*'

报错原因 #

核心是语法不符合Iceberg Merge Into的规范：

• Iceberg不支持WHEN MATCHED THEN UPDATE *这种缩写写法，必须明确指定更新的列映射关系；
• 部分旧版本Iceberg对WHEN NOT MATCHED THEN INSERT *的支持有限，即使列完全对应也可能触发解析错误。

修正方案 #

方案1：全量列映射（列完全匹配时使用） #

将更新语句改为UPDATE SET t.* = s.*，明确源表与目标表的全量列映射：

MERGE INTO iceberg_catalog.staging.tbl AS t
USING tempview AS s
ON t.number = s.number
WHEN MATCHED THEN UPDATE SET t.* = s.*
WHEN NOT MATCHED THEN INSERT *

方案2：明确指定列（更严谨） #

如果需要控制更新的列，或者列不完全匹配，直接列出需要更新/插入的列：

MERGE INTO iceberg_catalog.staging.tbl AS t
USING tempview AS s
ON t.number = s.number
WHEN MATCHED THEN UPDATE SET 
  t.number = s.number,
  t.column1 = s.column1,
  t.column2 = s.column2
WHEN NOT MATCHED THEN INSERT (number, column1, column2)
VALUES (s.number, s.column1, s.column2)

额外检查点 #

• 确认EMR集群版本：推荐使用EMR 6.4及以上版本，这类版本内置的Iceberg 0.13+对Merge Into语法支持更完善；
• 校验临时视图与目标表的列：确保两者的列名、数据类型完全对应，避免后续出现数据类型不匹配的报错。

内容的提问来源于stack exchange，提问作者BAE