Spark Delta Table执行Merge操作时更新记录数统计异常

该现象是Delta MERGE的计数规则和执行机制导致的，和数据写入异常无关，具体逻辑如下：

核心计数规则差异 #

Delta 统计的「更新行数」口径是所有满足ON匹配条件、命中WHEN MATCHED分支的行总数，和业务层面「字段值实际发生变更的行数」不是同一个概念，只要行被标记为走UPDATE逻辑，不管SET的字段值和原有值是否完全一致，都会被计入更新数。

触发该问题的3种常见原因 #

• 匹配条件过宽：MERGE的ON子句仅写了主键匹配规则，没有追加「字段值不一致才更新」的判断，只要主键能关联上的行，哪怕值完全没变化，都会被算入更新行。
• 关联键存在重复匹配：如果源DataFrame（从CSV读取的源数据）中，作为关联键的字段存在重复值，或者目标表中关联键不唯一，会出现1条逻辑修改记录关联到多条目标行、或者多条重复源行关联到同一条目标行的情况，每一次关联命中都会被单独计数。Delta 2.0之前的版本默认不检查MERGE关联键的唯一性，非唯一键导致的多行匹配不会抛出异常，会直接执行多行更新。
• 源数据解析异常：CSV读取时如果没有正确处理空行、转义字符、分隔符错位问题，会生成无意义的重复关联行，这些行在Join时也会命中匹配逻辑，被计入更新数。

底层执行流程拆解 #

MERGE在Spark上的执行链路不会做新旧值的自动对比，计数在执行标记阶段就已经确定：

1. 首先将源数据、目标Delta表按照ON子句的条件做全外连接，拆分出三类数据集：匹配成功的行对、仅源表存在的行、仅目标表存在的行
2. 逐行套用WHEN分支的判断条件：
   • 匹配成功的行只要满足WHEN MATCHED的过滤规则，直接标记为UPDATE操作，计数+1，不会提前对比SET字段的新旧值
   • 仅源表存在的行满足WHEN NOT MATCHED规则时标记为INSERT，计入新增行数
3. 所有标记完成的行统一写入Delta的新版本文件，最终输出的执行日志统计值就是各标记类型的数量总和，不会做二次校验去重。

排查修正方案 #

• 先校验源数据的关联键唯一性：执行df_source.groupBy(你的关联键字段).count().filter("count > 1").show()，排查CSV读取产生的重复行、脏数据
• 在WHEN MATCHED分支追加值变更判断，仅当字段实际不一致时才触发更新，示例写法：

MERGE INTO your_delta_table t
USING temp_source_view s
ON t.primary_key = s.primary_key
WHEN MATCHED AND (t.col1 != s.col1 OR t.col2 != s.col2 OR t.col3 != s.col3)
  THEN UPDATE SET *
WHEN NOT MATCHED
  THEN INSERT *

• 若使用Delta 2.0+版本，可开启配置spark.databricks.delta.merge.optimizeUpdate.enabled，开启后Delta会自动跳过值无变化的行，更新计数会和实际变更行数对齐。

内容的提问来源于stack exchange，提问作者Vaibhav B