Delta表执行MERGE操作报错：多行源数据匹配同一目标行问题咨询

问题原因 #

报错的核心原因是源表（source_table）中存在重复的primary_key记录。

目标表主键唯一仅能保证目标端不会出现同一主键对应多行的情况，但当MERGE操作执行时，源表中同一primary_key的多行数据会同时匹配到目标表的同一行。Delta Lake不允许这种模糊的更新操作——因为无法确定应该使用源表中的哪一行数据来更新目标行，因此抛出该异常。

你提到首次插入成功、再次插入相同数据时报错，说明首次插入时目标表无对应主键记录，触发的是WHEN NOT MATCHED分支（插入操作）；而再次插入时目标表已有对应记录，触发WHEN MATCHED分支，此时源表中的重复主键行就会引发冲突。

源数据预处理方案 #

1. 在MERGE语句中直接对源表去重 #

通过子查询对源表的重复主键进行去重，确保每个primary_key仅保留一行有效数据：

方案A：按时间戳取最新版本（推荐用于有更新时间的场景）

如果源表包含记录更新时间的字段（比如update_time），可以通过窗口函数保留每个主键的最新记录：

MERGE INTO target_table AS t
USING (
    SELECT primary_key, column1, column2
    FROM (
        SELECT 
            primary_key, 
            column1, 
            column2,
            -- 按更新时间倒序排序，取最新的一行
            ROW_NUMBER() OVER (PARTITION BY primary_key ORDER BY update_time DESC) AS rn
        FROM source_table
    ) s_filtered
    WHERE rn = 1
) AS s
ON t.primary_key = s.primary_key
WHEN MATCHED THEN
    UPDATE SET t.column1 = s.column1, t.column2 = s.column2
WHEN NOT MATCHED THEN
    INSERT (primary_key, column1, column2) VALUES (s.primary_key, s.column1, s.column2)

方案B：聚合去重（适用于无时间戳的场景）

如果不需要区分记录新旧，可以通过聚合函数（如MAX/MIN）保留每个主键的任意有效值：

MERGE INTO target_table AS t
USING (
    SELECT 
        primary_key,
        MAX(column1) AS column1,
        MAX(column2) AS column2
    FROM source_table
    GROUP BY primary_key
) AS s
ON t.primary_key = s.primary_key
WHEN MATCHED THEN
    UPDATE SET t.column1 = s.column1, t.column2 = s.column2
WHEN NOT MATCHED THEN
    INSERT (primary_key, column1, column2) VALUES (s.primary_key, s.column1, s.column2)

2. 提前清洗源表数据 #

在将数据写入source_table之前，先执行去重逻辑，从根源上保证源表的primary_key唯一性。例如在数据导入阶段执行：

-- 写入源表前先去重
INSERT INTO source_table
SELECT primary_key, column1, column2
FROM (
    SELECT 
        primary_key, 
        column1, 
        column2,
        ROW_NUMBER() OVER (PARTITION BY primary_key ORDER BY update_time DESC) AS rn
    FROM raw_source_data
)
WHERE rn = 1

内容的提问来源于stack exchange，提问作者Raju