AWS Redshift声明主键后仍接受重复数据插入问题咨询

Redshift 是面向分析场景的MPP分布式数仓，和MySQL、PostgreSQL这类OLTP事务数据库的约束实现逻辑有本质区别：你在表上定义的PRIMARY KEY、UNIQUE、FOREIGN KEY约束默认都是声明式元数据，不会在写入时做强制校验。

这类约束存在的核心作用是给查询优化器提供统计信息参考，用来优化Join、聚合操作的执行计划，并不会拦截重复数据写入——毕竟数仓场景动辄批量导入TB级数据，如果每次写入都跨计算节点做唯一性校验，会带来极高的性能开销，和数仓高吞吐写入的设计目标相悖。

你建表时给cust_id同时加了NOT NULL UNIQUE和主键约束属于重复定义，哪怕重复声明十次唯一性约束，只要没有手动开启强制校验逻辑，重复执行插入同主键值的语句都不会被拦截。

• 常规数仓场景推荐：写入前自行做去重处理。比如插入数据时先通过LEFT JOIN已有表排除重复cust_id，或者用窗口函数先对待写入数据集做去重再落表，这种方式没有额外的跨节点校验开销，性能最好，是生产环境的主流用法。对于已经写入表中的重复数据，也可以通过ROW_NUMBER()窗口函数按cust_id分组，保留单条记录、删除多余重复值即可。
• 小表、需要强一致场景可选：开启约束强制校验。Redshift支持为约束添加ENFORCE参数显式开启写入校验，建表示例如下：

CREATE TABLE customer
  (
     cust_id         INTEGER NOT NULL,
     email           VARCHAR(30),
     name            CHAR(30),
     PRIMARY KEY     (cust_id) ENABLE ENFORCE
  );

注意开启强制校验后，写入重复数据会直接抛出错误，但跨节点的唯一性检查会带来明显的写入性能损耗，不适合大批量数据导入的场景。

内容的提问来源于stack exchange，提问作者Syntax Error