Spark中临时视图能否作为Merge语句源？报'Database src not found'

Spark支持将临时视图作为Merge语句的源，你的报错并非临时视图本身不可用，而是SQL解析时的别名识别问题，以下是具体分析和解决方案：

场景复现 #

• 通过df.createOrReplaceTempView("dim_user")创建临时视图
• 同一Spark Session内执行Merge语句，以该视图为源：

query_1 = f"""
    MERGE INTO gold.d_hsseq_user_v2 AS tgt
    USING dim_user AS src
    ON tgt.userid = src.userid
    AND tgt.hashed_key_SCD1 <> src.sha2(concat_ws(',', {concatenated_scd1}))
    WHEN MATCHED THEN
    UPDATE SET {set_scd1},
               tgt.HSH_SCD1 = src.sha2(concat_ws(',', {concatenated_scd1}));
"""

• 报错信息：'Database 'src' not found'
• 补充：尝试全局临时视图后仍报错，执行show views可确认视图已创建

问题原因 #

报错核心是Spark解析SQL时，误将src.sha2(...)中的src识别为数据库名，而非你定义的表别名。USING dim_user AS src虽然将临时视图别名为src，但后续表达式中src.前缀加在函数上的写法，让Spark混淆了别名的作用范围。

解决方案 #

方案1：调整函数调用的列引用方式 #

将src.sha2(...)改为sha2(concat_ws(',', src.列名1, src.列名2...), 256)，明确把src.前缀加在列上，而非整个函数：

# 假设concatenated_scd1是拼接好的带src前缀的列字符串，比如"src.userid, src.username"
query_1 = f"""
    MERGE INTO gold.d_hsseq_user_v2 AS tgt
    USING dim_user AS src
    ON tgt.userid = src.userid
    AND tgt.hashed_key_SCD1 <> sha2(concat_ws(',', {concatenated_scd1}), 256)
    WHEN MATCHED THEN
    UPDATE SET {set_scd1},
               tgt.HSH_SCD1 = sha2(concat_ws(',', {concatenated_scd1}), 256);
"""

注意：Spark的sha2函数需要指定哈希长度参数（如256），原写法存在参数缺失问题，需补充。

方案2：给临时视图加上数据库限定 #

如果临时视图位于默认数据库（default），可以在USING子句中明确指定库名，强化视图的身份识别：

MERGE INTO gold.d_hsseq_user_v2 AS tgt
USING default.dim_user AS src
ON tgt.userid = src.userid
AND tgt.hashed_key_SCD1 <> sha2(concat_ws(',', src.userid, src.phone), 256)
WHEN MATCHED THEN
UPDATE SET tgt.phone = src.phone,
           tgt.HSH_SCD1 = sha2(concat_ws(',', src.userid, src.phone), 256);

内容的提问来源于stack exchange，提问作者play_something_good