多列主键Delta表按多字段执行merge操作后数据更新异常求助

• 校验上游更新数据集主键唯一性：如果finalDf1中存在多组相同的(column1~column5)联合主键数据，Delta Merge的匹配逻辑会出现非确定性更新，部分版本会静默处理异常导致行数不符合预期。可执行如下代码验证是否存在重复主键：

finalDf1.groupBy("column1","column2","column3","column4","column5")
  .count()
  .filter(col("count") > 1)
  .show()

• 处理主键列空值匹配问题：Spark SQL默认NULL = NULL的判断结果为UNKNOWN，不会命中匹配条件，如果主键列存在空值，原本应匹配的行会被判定为不匹配触发重复插入。可以将匹配条件中的等值判断替换为空值安全相等运算符<=>，修改后匹配条件示例如下：

"data.column1 <=> updates.column1 AND data.column2 <=> updates.column2 AND data.column3 <=> updates.column3 AND data.column4 <=> updates.column4 AND data.column5 <=> updates.column5"

• 确认主键列数据类型一致性：如果两边数据集的主键列存在类型不一致的情况（比如一边为String类型一边为Int类型），隐式转换可能导致匹配失效，预期应匹配的行被判定为不匹配插入。可以分别打印finalDf1和目标Delta表的Schema，对比5个主键列的类型是否完全一致。
• 排查并发写入冲突：如果Merge执行期间有其他任务同时修改目标Delta表，并发事务冲突可能导致最终结果不符合预期，可查看目标表的Delta历史日志，确认执行Merge的时间段内是否有其他事务提交。
• 前置校验匹配逻辑正确性：执行Merge前可先统计目标表总行数、finalDf1和目标表的匹配行数、不匹配行数，理论上Merge后的目标表总行数应为「原目标表行数 + 不匹配行数」，如果预统计结果和实际结果不符，可以先定位是匹配逻辑异常还是更新/插入逻辑异常。

内容的提问来源于stack exchange，提问作者Tony