如何在AWS Redshift中批量插入复合主键不重复的行？

我明白你遇到的困扰了——Redshift对某些关联子查询的支持确实有限，你用NOT EXISTS的写法正好触发了这个限制。别担心，我们有几个更适合Redshift的替代方案来实现批量插入去重：

方案1：用LEFT JOIN替代NOT EXISTS（最稳妥的写法） #

Redshift对JOIN的处理比关联子查询更友好，我们可以通过左连接目标表，筛选出没有匹配的记录来插入：

INSERT INTO clusters.clusters_typologies (cluster_id, typology_id, semantic_id)
SELECT temp.cluster_id, temp.typology_id, temp.semantic_id
FROM temporary temp
LEFT JOIN clusters.clusters_typologies ct
  ON temp.cluster_id = ct.cluster_id
  AND temp.typology_id = ct.typology_id
  AND temp.semantic_id = ct.semantic_id
WHERE ct.cluster_id IS NULL;

原理很简单：左连接会保留临时表的所有记录，当目标表中没有对应复合主键的记录时，目标表的字段会是NULL，我们通过WHERE ct.cluster_id IS NULL就能筛选出需要插入的新数据。

方案2：用EXCEPT子句实现去重（更简洁的写法） #

如果你的数据量较大，EXCEPT子句是个不错的选择，它直接返回临时表中存在但目标表中不存在的记录：

INSERT INTO clusters.clusters_typologies (cluster_id, typology_id, semantic_id)
SELECT cluster_id, typology_id, semantic_id
FROM temporary
EXCEPT
SELECT cluster_id, typology_id, semantic_id
FROM clusters.clusters_typologies;

这种写法逻辑清晰，Redshift对EXCEPT的优化也比较到位，性能表现很好。

额外提示 #

如果你的场景存在并发写入的情况（比如多个进程同时往目标表插数据），可以在插入前加上锁表语句避免冲突：

LOCK TABLE clusters.clusters_typologies IN SHARE MODE;

不过如果是单进程批量插入的场景，一般不需要这一步。

内容的提问来源于stack exchange，提问作者Matteo Lomi