如何在Snowflake中安全实现无重复的并发插入？

针对并发执行INSERT...NOT EXISTS导致重复ID的问题，结合相同ID并发插入极少的场景，推荐以下优先级从高到低的方案：

1. 使用MERGE语句（原子操作，并发友好） #

Snowflake的MERGE是原子性DML操作，能在同一个原子步骤中完成存在性检查与数据插入，彻底避免多会话竞态导致的重复插入问题。

替换原语句为：

MERGE INTO stg.my_table AS tgt
USING stg.my_view AS src
ON tgt.ID = src.ID
WHEN NOT MATCHED THEN
  INSERT (<列名列表>)  -- 建议显式指定列名，避免隐式列顺序引发的问题
  VALUES (src.<列1>, src.<列2>, ...);

• 优势：无冲突场景下性能与普通INSERT几乎一致，完全支持多会话并发插入，从根源上杜绝重复数据。
• 注意：若stg.my_view返回重复ID，需先在源数据层面去重，否则MERGE会因源数据重复报错。

2. 主键约束+INSERT...ON CONFLICT DO NOTHING（极低冲突场景最优） #

先给表的ID字段添加主键或唯一约束，再利用冲突处理逻辑忽略重复插入：

首先添加约束（若未存在）：

ALTER TABLE stg.my_table ADD CONSTRAINT pk_my_table_id PRIMARY KEY (ID);

然后替换原插入语句：

INSERT INTO stg.my_table (<列名列表>)
SELECT src.<列1>, src.<列2>, ...
FROM stg.my_view AS src
ON CONFLICT (ID) DO NOTHING;

• 优势：非异常路径开销最低，大部分插入直接成功；仅在出现ID冲突时跳过重复行，完全支持并发插入，适配你的场景需求。
• 注意：冲突发生时Snowflake不会抛出异常，若需记录冲突情况，可结合LOG ERRORS子句实现。

3. 悲观锁（仅特殊场景使用） #

若上述方案不适用，可通过锁定表避免并发插入，但会牺牲并发性能，不推荐作为首选：

BEGIN TRANSACTION;
LOCK TABLE stg.my_table IN EXCLUSIVE MODE;

INSERT INTO stg.my_table (<列名列表>)
SELECT src.*
FROM stg.my_view AS src
WHERE NOT EXISTS (SELECT * FROM stg.my_table AS tgt WHERE tgt.ID = src.ID);

COMMIT;

• 劣势：锁表后其他会话的插入操作会被阻塞，并发性能大幅下降，仅适合冲突频繁但必须严格串行的场景。

内容的提问来源于stack exchange，提问作者Andrew Hill