MySQL执行带JOIN和WHERE子句的INSERT语句时出现重复值插入报错

• 最常见的诱因是INNER JOIN产生了重复的t1.f1值：你单独过滤t1后t1.f1无重复，但如果单条t1记录能匹配到多条t2记录，关联后的结果集就会出现多条相同t1.f1的行，插入时自然触发唯一约束报错。
• 目标表t3本身已存在和待插入数据相同的f1值：你只验证了源数据的唯一性，未排查t3中已有的历史数据冲突。
• 字段排序规则导致的隐式重复：如果数据库/字段的排序规则不区分大小写，源数据中"abc"和"ABC"会被你判定为不同值，但插入时会被识别为重复值。
• 低概率的并发写入冲突：执行插入语句的同时，有其他会话也在向t3写入相同的f1值。

1. 先验证是否为关联导致的重复，单独执行SELECT查询统计重复值：

SELECT f1, COUNT(*) AS 重复次数
FROM (
    SELECT t1.f1, t2.f2
    FROM t1 INNER JOIN t2 ON t1.f3 = t2.f4
    WHERE t1.baz = 'bat'
) AS tmp
GROUP BY f1
HAVING COUNT(*) > 1;

如果查询有返回结果，说明是关联产生重复，可根据业务需求选择方案：

• 只需保留单条对应记录：用SELECT DISTINCT去重，或通过GROUP BY t1.f1配合聚合函数（MAX/MIN等）取指定的t2.f2值，或用窗口函数取匹配到的第一条t2记录。

2. 验证是否为目标表已有数据冲突：

SELECT DISTINCT t1.f1
FROM t1 INNER JOIN t2 ON t1.f3 = t2.f4
WHERE t1.baz = 'bat'
AND EXISTS (SELECT 1 FROM t3 WHERE t3.f1 = t1.f1);

如果有返回结果，说明t3已有冲突值，可根据业务需求选择方案：

• 跳过重复数据：MySQL用INSERT IGNORE INTO t3 ...，PostgreSQL用INSERT INTO t3 ... ON CONFLICT (f1) DO NOTHING，Oracle/SQL Server用MERGE语法实现跳过。
• 覆盖更新旧数据：PostgreSQL用ON CONFLICT (f1) DO UPDATE SET f2 = EXCLUDED.f2，MySQL用ON DUPLICATE KEY UPDATE f2 = VALUES(f2)实现冲突时更新f2字段。

3. 如果是大小写不敏感导致的重复，可统一将待插入的f1转成大写/小写后插入，或调整字段的排序规则为大小写敏感。
4. 并发冲突场景可适当提升事务隔离级别，或直接使用上述数据库原生的冲突处理语法解决。

内容的提问来源于stack exchange，提问作者DatsunBing