Databricks Delta表MERGE匹配键仍插入重复记录问题求解

常见根因 #

• 源临时视图存在重复匹配键：MERGE逻辑会逐行比对源数据，如果源数据中同一组(col1, col2)存在多条重复记录，即便目标表不存在该组键值，所有源端重复记录都会被触发插入，最终导致目标表出现重复。
• 匹配键大小写/数据类型不匹配：你当前的MERGE语句中INSERT子句写的是source.Col1、source.Col2（首字母大写），如果源视图的字段实际为小写col1/col2，或者两个表的匹配键数据类型不一致（比如一方为INT、另一方为STRING，字面量一致但隐式转换后匹配失败），会导致本该匹配的记录被判定为未匹配，触发重复插入。
• 并发写入冲突：如果同一时间有其他任务向目标Delta表写入相同匹配键的数据，在默认的事务隔离级别下可能出现匹配逻辑失效的问题。

修复方案 #

1. 首先对源临时视图做去重处理，确保每组(col1, col2)只有唯一一条记录，示例代码如下：

-- 去重逻辑可根据业务需求调整排序规则，取最新、最合规的一条记录即可
CREATE OR REPLACE TEMP VIEW source_dedup AS
SELECT col1, col2 
FROM (
    SELECT *,
    ROW_NUMBER() OVER (PARTITION BY col1, col2 ORDER BY col1) AS rn
    FROM <temp view>
) t WHERE rn = 1;

2. 修正MERGE语句的字段大小写，确保匹配键、插入字段的大小写和表定义完全一致，也可显式指定匹配键类型避免隐式转换问题：

spark.sql(""" MERGE INTO <delta table name> deltatbl USING source_dedup source
           ON   deltatbl.col1 = cast(source.col1 as <目标表col1对应数据类型>)
           AND  deltatbl.col2 = cast(source.col2 as <目标表col2对应数据类型>)
           WHEN NOT MATCHED THEN INSERT
           (col1,col2) VALUES(source.col1,source.col2)  """)

3. 如果存在并发写入场景，可将Delta表的隔离级别调整为SERIALIZABLE确保写入强一致性：

ALTER TABLE <delta table name> SET TBLPROPERTIES ('delta.isolationLevel' = 'SERIALIZABLE')

内容的提问来源于stack exchange，提问作者Sharyu Aadhatrao