Airbyte自定义Python目标端Spark SQL MERGE语句更新冲突报错

你遇到的Updates are in conflict for these columns: data_user_id错误，核心原因是源临时表（{table_name}_temp）中存在同一主键对应多条不同字段值的记录，当MERGE匹配到目标表同一条记录时，Spark无法确定用哪条源记录的数值去更新目标字段，从而抛出冲突错误。

具体解决步骤： #

1. 排查源表重复数据
   先验证临时表中是否存在主键重复的情况，执行以下查询：

SELECT data_{primary_keys[0][0]}, COUNT(*) AS cnt
FROM {self.schema_name}.{table_name}_temp
GROUP BY data_{primary_keys[0][0]}
HAVING cnt > 1

如果返回结果，说明确实存在同一主键对应多条记录的情况，且这些记录中data_user_id等字段值不一致。

2. 预处理源表去重
   根据业务需求，对临时表进行去重处理，保留唯一有效的记录。比如按主键分组，取最新更新的记录：

-- 创建去重后的临时视图
CREATE OR REPLACE VIEW {self.schema_name}.{table_name}_temp_cleaned AS
SELECT * FROM (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY data_{primary_keys[0][0]} ORDER BY data_updated_at DESC) AS rn
    FROM {self.schema_name}.{table_name}_temp
) WHERE rn = 1

之后修改MERGE语句，使用去重后的视图作为源表：

MERGE INTO {self.schema_name}.{table_name} AS target
USING {self.schema_name}.{table_name}_temp_cleaned AS source
ON target.data_{primary_keys[0][0]}=source.data_{primary_keys[0][0]}
WHEN MATCHED THEN
        {query_placeholder_refined}
WHEN NOT MATCHED THEN
        INSERT *

3. 验证主键是否合理
   如果业务中单一主键不足以唯一标识一条记录，需要调整MERGE的ON条件，使用复合主键匹配。比如如果data_id和data_user_id共同作为唯一标识，修改ON条件：

ON target.data_id=source.data_id AND target.data_user_id=source.data_user_id

这样可以避免同一主键匹配到多条源记录的情况。

4. 调整更新逻辑（可选）
   如果业务允许冲突时忽略部分记录，可以在UPDATE语句中添加条件，只更新符合特定规则的记录，但这种方式仅适用于特殊场景，优先推荐先清理源表数据。

内容的提问来源于stack exchange，提问作者Kazim Raza