Delta Lake merge中whenNotMatchedBySourceDelete子查询报错排查

错误原因 #

1. Merge关联条件设置错误：你将「主键匹配+字段差异」作为Merge的主条件，这会导致主键匹配但字段无差异的记录无法被识别为匹配项，进而干扰后续的删除逻辑判断。
2. 子查询别名解析失败：whenNotMatchedBySourceDelete中的子查询直接引用了source的别名updates，但Merge操作的source别名在子查询的作用域内无法被解析，因此抛出UnresolvedRelation错误。

正确实现代码 #

方案一：使用临时视图关联源表主键 #

from delta.tables import DeltaTable

# 获取目标Delta表
delta_table = DeltaTable.forName(spark_session, 'my_table')
# 源数据别名化
source_df = source_dataframe.alias('updates')

# 创建源表主键的临时视图，供删除条件引用
source_df.select('col1').createOrReplaceTempView('source_keys')

# 执行Merge操作
delta_table.alias('dest') \
    .merge(
        source=source_df,
        condition='dest.col1 = updates.col1'  # 仅基于主键匹配
    ) \
    .whenMatchedUpdate(
        # 仅当字段有差异时才更新，满足需求1、3
        condition='dest.col2 != updates.col2 OR dest.col3 != updates.col3',
        set={
            'col2': 'updates.col2',
            'col3': 'updates.col3'
        }
    ) \
    .whenNotMatchedInsertAll()  # 新增源表有但目标表无的记录，满足需求2
    .whenNotMatchedBySourceDelete(
        # 删除目标表有但源表无的记录，满足需求4
        condition='dest.col1 NOT IN (SELECT col1 FROM source_keys)'
    ) \
    .execute()

方案二：使用EXISTS子查询（无需临时视图） #

from delta.tables import DeltaTable

delta_table = DeltaTable.forName(spark_session, 'my_table')
source_df = source_dataframe.alias('updates')

delta_table.alias('dest') \
    .merge(
        source=source_df,
        condition='dest.col1 = updates.col1'
    ) \
    .whenMatchedUpdate(
        condition='dest.col2 != updates.col2 OR dest.col3 != updates.col3',
        set={
            'col2': 'updates.col2',
            'col3': 'updates.col3'
        }
    ) \
    .whenNotMatchedInsertAll() \
    .whenNotMatchedBySourceDelete(
        condition='NOT EXISTS (SELECT 1 FROM updates WHERE updates.col1 = dest.col1)'
    ) \
    .execute()

关键说明 #

• Merge的主条件仅保留主键匹配，确保所有主键重合的记录都能进入匹配分支，避免遗漏无差异的匹配记录。
• whenMatchedUpdate中单独添加字段差异判断，保证只有数据变化时才执行更新，不会生成无意义的事务日志（满足需求1）。
• whenNotMatchedBySourceDelete通过临时视图或EXISTS子查询判断目标表记录是否存在于源表，规避了别名解析的问题，同时精准实现删除逻辑。

内容的提问来源于stack exchange，提问作者zzzz8888