Databricks多源行匹配Merge报错，求无单独删除的解决方案

错误原因 #

你的Merge语句报错是因为目标表中Pk=0、fk="null"的行被源表中4条Pk=0的行同时匹配（Merge条件里的OR ((t.pk <=> s.pk) and (t.fk <=> "null"))规则），Delta不允许同一目标行被多个源行触发修改操作，否则无法确定执行哪条源行的逻辑，因此抛出冲突错误。

解决方案：构造扩展源表+调整Merge逻辑 #

要在一次Merge中完成「删除目标表Pk=0、fk="null"的行 + 插入源表Pk=0的4行 + 更新其他匹配行」的需求，需要避免同一目标行被多源行匹配。具体步骤如下：

1. 读取原表 #

# 读取目标Delta表
vtdf = spark.read.format("delta").load("abfss://wb@something.dfs.core.windows.net/ss/temp_tdf")
# 读取源Delta表
vsdf = spark.read.format("delta").load("abfss://wb@something.dfs.core.windows.net/ss/temp_sdf")

2. 构造扩展源表 #

添加一条专用删除标记行，仅用于匹配目标表中需要删除的Pk=0、fk="null"行，确保该目标行只会被这一条源行匹配：

# 创建辅助删除行：仅匹配目标表Pk=0、fk=null的行，标记为删除
delete_flag_row = spark.createDataFrame(
    [("0", "null", None, None, None, "delete")], 
    ["Pk", "fk", "c1", "c2", "c3", "changetype"]
)
# 合并原源表与辅助删除行
extended_src_df = vsdf.union(delete_flag_row)

3. 执行Merge命令 #

调整匹配条件，区分「常规更新匹配」和「专用删除匹配」，确保逻辑互不冲突：

MERGE INTO vtdf AS target
USING extended_src_df AS source
ON (
  -- 规则1：常规更新匹配：Pk和fk完全一致
  (target.Pk <=> source.Pk AND target.fk <=> source.fk)
  -- 规则2：专用删除匹配：仅匹配目标表需删除的行和辅助删除行
  OR (target.Pk = '0' AND target.fk = 'null' AND source.Pk = '0' AND source.fk = 'null' AND source.changetype = 'delete')
)
-- 匹配到删除标记行时，执行删除
WHEN MATCHED AND source.changetype = 'delete' THEN DELETE
-- 匹配到常规源行时，执行更新
WHEN MATCHED AND source.changetype != 'delete' THEN UPDATE SET *
-- 无匹配的常规源行时，执行插入
WHEN NOT MATCHED AND source.changetype != 'delete' THEN INSERT *

逻辑说明 #

• 目标表中Pk=0、fk="null"的行只会被辅助删除行匹配，触发一次删除操作，不会产生多源行冲突。
• 源表中4条Pk=0的行（fk=1~4）因目标表无对应匹配行，会走NOT MATCHED分支插入。
• 源表中Pk=1、fk=1的行会匹配目标表对应行，走MATCHED分支更新c2字段为India。

内容的提问来源于stack exchange，提问作者user1920407