Spark SQL MERGE语句报错排查：ADLS Gen2 Silver表更新问题

你的MERGE语句存在语法和逻辑问题，导致执行报错，具体问题和修正方案如下：

1. WHEN MATCHED分支缺失赋值逻辑 #

原语句中WHEN MATCHED THEN UPDATE SET qa.pigeon_silver.ael_events_supply_change.materialnum仅指定了要更新的列，但未给出赋值来源。正确写法是将目标表的materialnum设置为源临时视图latestChange中的对应值：

WHEN MATCHED THEN UPDATE SET materialnum = latestChange.materialnum

2. WHEN NOT MATCHED分支语法错误 #

Delta Lake的MERGE语法中，WHEN NOT MATCHED仅支持INSERT操作（用于插入源表存在但目标表不存在的行），不能直接更新目标表中已存在但未匹配的行。

• 如果需求是插入源表中有但目标表没有的行，且新行的materialnum使用默认值，修正后的分支应为：

WHEN NOT MATCHED THEN INSERT (s3_file_location, serialnum, materialnum) 
VALUES (latestChange.s3_file_location, latestChange.serialnum, DEFAULT)

（需根据实际表结构，列出所有必填列）

• 如果需求是对目标表中所有未匹配源表的现有行，将materialnum设为默认值，MERGE无法完成该操作，需单独执行UPDATE语句：

UPDATE qa.pigeon_silver.ael_events_supply_change
SET materialnum = DEFAULT
WHERE (s3_file_location, serialnum) NOT IN (
    SELECT s3_file_location, serialnum FROM material
)

3. 简化表引用（可选优化） #

给目标表起别名，减少重复书写全表名，提升语句可读性：

最终修正后的MERGE语句（插入新行场景） #

spark.sql(f"""MERGE INTO qa.pigeon_silver.ael_events_supply_change target
USING (SELECT * FROM material) latestChange 
ON latestChange.s3_file_location = target.s3_file_location 
  AND latestChange.serialnum = target.serialnum 
WHEN MATCHED THEN UPDATE SET target.materialnum = latestChange.materialnum
WHEN NOT MATCHED THEN INSERT (s3_file_location, serialnum, materialnum) 
VALUES (latestChange.s3_file_location, latestChange.serialnum, DEFAULT)
""")

额外UPDATE语句（更新未匹配现有行场景） #

若需处理目标表中已存在但未匹配的行，在执行MERGE后运行：

spark.sql("""
UPDATE qa.pigeon_silver.ael_events_supply_change
SET materialnum = DEFAULT
WHERE (s3_file_location, serialnum) NOT IN (
    SELECT s3_file_location, serialnum FROM material
)
""")

内容的提问来源于stack exchange，提问作者sayan nandi