Azure Databricks：无需伪造更新条件的Delta表WhenMatchedInsert方案咨询

问题背景 #

在Azure Databricks Runtime 11.3 LTS环境下，需向Delta表插入满足特定条件的行（例如仅插入源表中与目标表id不匹配的行），希望避免通过设置update_condition = "true = false"这种伪造跳过Merge更新环节的hack方式。

假设测试数据如下：

sdf1 = spark.createDataFrame(
 [
  (1, "foo", "dd", "1", "99"),
  (2, "bar", "2sfs", "1", "99"),
 ],
 ["id", "col", "col2", "s_date", "e_date"],
)

sdf2 = spark.createDataFrame(
 [
  (1, "foo", "dd", "1", "99"),
  (2, "bar", "2sfs", "33", "99"),
  (3, "bar", "dwdw", "3", "5"),
 ],
 ["id", "col", "col2", "s_date", "e_date"],
)

最优解决方案 #

方案1：直接过滤源数据后Append（性能最优） #

若需求仅为插入源表中不存在于目标表的行，无需使用Merge操作，通过左反连接过滤出符合条件的行后直接Append即可，性能比Merge更高效。

from delta.tables import DeltaTable

delta_path = "/mnt/raw/testNiko/matchedInsert"

# 初始化目标Delta表
sdf1.write.format("delta").mode("overwrite").option("overwriteSchema", "True").save(delta_path)

# 读取目标表数据
target_df = spark.read.format("delta").load(delta_path)

# 过滤出sdf2中未在目标表出现的行（基于id匹配）
rows_to_insert = sdf2.join(target_df, on="id", how="left_anti")

# 将过滤后的行插入Delta表
rows_to_insert.write.format("delta").mode("append").save(delta_path)

# 查看结果
display(spark.read.format("delta").load(delta_path))

方案2：正确使用Delta Merge（无伪造条件） #

若因业务扩展需要使用Merge操作，可省略whenMatched分支，Delta会自动跳过匹配到的行，仅执行whenNotMatched的插入逻辑，完全无需设置虚假的更新条件。

from delta.tables import DeltaTable

delta_path = "/mnt/raw/testNiko/matchedInsert"

# 初始化目标Delta表
sdf1.write.format("delta").mode("overwrite").option("overwriteSchema", "True").save(delta_path)

# 获取Delta表实例
delta_table = DeltaTable.forPath(spark, delta_path)

# Merge逻辑：仅插入与目标表id不匹配的行
delta_table.alias("target").merge(
    source=sdf2.alias("source"),
    condition="target.id = source.id"
).whenNotMatchedInsertAll().execute()

# 查看结果
display(spark.read.format("delta").load(delta_path))

关键说明 #

Delta Merge的原生规则：如果未定义whenMatched分支，匹配到的行不会执行任何更新/删除操作，直接跳过。这种写法完全符合需求，代码清晰可维护，避免了之前的hack手段。

内容的提问来源于stack exchange，提问作者Nikolaos