Spark Iceberg表Merge Into匹配时整行更新的Upsert语法问题

在Spark 3.3.0-amzn-1搭配Iceberg 1.0.0的环境下，target.* = updates.*确实不是合法语法，要实现匹配时的整行更新，有两种可靠方案：

方案1：使用Iceberg整行赋值语法 #

Iceberg支持直接将源表整行数据赋值给目标表，写法简洁，要求源表与目标表的字段顺序、名称、数据类型完全一致：

MERGE INTO glue_catalog.{DATABASE_NAME}.{TABLE_NAME} target
USING (SELECT * FROM upsert_items) updates
ON {join_condition}
WHEN MATCHED THEN UPDATE SET target = updates
WHEN NOT MATCHED THEN INSERT *

方案2：显式列出所有字段 #

如果源表和目标表字段结构存在差异，或需要精准控制字段映射，可逐个列出字段赋值关系：

MERGE INTO glue_catalog.{DATABASE_NAME}.{TABLE_NAME} target
USING (SELECT * FROM upsert_items) updates
ON {join_condition}
WHEN MATCHED THEN UPDATE SET 
    target.col1 = updates.col1,
    target.col2 = updates.col2,
    -- 依次列出所有需要更新的字段
    target.last_col = updates.last_col
WHEN NOT MATCHED THEN INSERT (col1, col2, ..., last_col)
VALUES (updates.col1, updates.col2, ..., updates.last_col)

注意事项 #

• join_condition必须使用表的主键或唯一键，避免一行匹配多行的情况，否则MERGE会执行失败。
• 使用整行赋值时，upsert_items的结构必须与目标表完全对齐，包括字段顺序和数据类型。

内容的提问来源于stack exchange，提问作者user1668814