Databricks Hive中多列表数据追加及冲突忽略实现方案

针对你有数百列的表，要追加新数据且忽略已有冲突记录的需求，以下是两种高效的实现方式：

方法1：MERGE INTO 语句（推荐） #

这种方式是Databricks原生支持的标准写法，无需手动枚举数百列，直接匹配冲突键后插入新记录：

假设你的冲突判断基于主键id，且源表中is_new_record = true的是需要追加的新数据，SQL如下：

MERGE INTO target_table t
USING (SELECT * FROM source_table WHERE is_new_record = true) s
ON t.id = s.id  -- 替换为你的冲突判断主键/唯一键
WHEN NOT MATCHED THEN
  INSERT *  -- 自动插入所有列，无需手动列出

注意：源表和目标表的列名、数据类型、列顺序必须完全一致，否则会触发数据类型不匹配错误。如果列顺序不一致，可以先通过INFORMATION_SCHEMA查询所有字段并拼接成字段列表替换*。

方法2：INSERT + LEFT JOIN 过滤已存在记录 #

如果更习惯用INSERT语法，可以先过滤掉源表中已在目标表存在的记录，再插入：

INSERT INTO target_table
SELECT s.*
FROM source_table s
LEFT JOIN target_table t ON s.id = t.id  -- 冲突判断键
WHERE t.id IS NULL  -- 仅保留目标表中不存在的记录
AND s.is_new_record = true  -- 你的新记录筛选条件

关键注意事项 #

• 冲突判断的字段必须是目标表的主键或唯一约束，否则无法准确识别重复记录
• 提前确认源表和目标表的列结构完全一致，避免插入时出现列不匹配或数据类型错误
• 处理大数据量时，建议先对源表的新记录做分区过滤、预聚合等操作，提升执行效率

内容的提问来源于stack exchange，提问作者disruptive