如何在Hive中创建带主键的表并避免主键重复插入（无需临时表）

首先得明确一个关键问题：你创建表时设置的主键是CONSTRAINT PK_t1 PRIMARY KEY (ID) DISABLE NOVALIDATE，这里的DISABLE NOVALIDATE意味着Hive不会实际强制主键约束——它只是在元数据层面标记了主键，方便外部工具识别，但插入数据时完全不会检查主键是否重复，这就是为什么你多次插入相同ID的数据会成功的原因。

要在不使用临时表的情况下避免重复插入，有两种可靠的方法：

方法1：使用正确的MERGE语句 #

你之前尝试的MERGE逻辑有误，错误地用目标表自身作为数据源，导致无法正确匹配要插入的新数据。正确的做法是将要插入的新数据作为源表，与目标表按主键匹配，仅插入不匹配的记录。

比如要插入(1, "Hi")，执行以下语句（多次执行也只会插入一次）：

MERGE INTO t1
USING (SELECT 1 AS id, 'Hi' AS name) AS source_data
ON t1.id = source_data.id
WHEN NOT MATCHED THEN INSERT VALUES (source_data.id, source_data.name);

如果要批量插入多条数据，只需要把source_data换成包含所有待插入数据的子查询即可：

MERGE INTO t1
USING (
    SELECT 1 AS id, 'Hi' AS name UNION ALL
    SELECT 2 AS id, 'World' AS name UNION ALL
    SELECT 3 AS id, 'Hive' AS name
) AS source_data
ON t1.id = source_data.id
WHEN NOT MATCHED THEN INSERT VALUES (source_data.id, source_data.name);

方法2：使用INSERT ... WHERE NOT EXISTS #

这种方式更直观，通过子查询检查目标表中是否已存在对应主键的记录，仅当不存在时才插入：

插入单条数据：

INSERT INTO t1
SELECT 1, 'Hi'
WHERE NOT EXISTS (SELECT 1 FROM t1 WHERE t1.id = 1);

批量插入的话，结合子查询生成待插入数据并过滤：

INSERT INTO t1
SELECT id, name
FROM (
    SELECT 1 AS id, 'Hi' AS name UNION ALL
    SELECT 2 AS id, 'World' AS name
) AS temp
WHERE NOT EXISTS (SELECT 1 FROM t1 WHERE t1.id = temp.id);

补充说明 #

• 如果你希望Hive在元数据层面也能更好地识别主键约束，确保后续工具兼容性，可以保持PRIMARY KEY的定义，但记住Hive本身不会依赖这个约束做任何数据校验，去重逻辑必须手动实现。
• 以上两种方法都不需要临时表，直接通过子查询或MERGE的源数据来控制插入逻辑，完全适配你的场景。

内容的提问来源于stack exchange，提问作者debo