如何利用4列索引实现批量插入去重，仅插入唯一行？

开发者阿泽

2026-5-26

嘿，这个需求其实挺常见的——核心就是靠唯一索引的约束来拦截重复数据，再配合MySQL的插入语法就能实现只保留唯一行的目的。我给你拆解下具体步骤和几种常用方案：

第一步：确保4列的索引是唯一索引

首先你得把那4列的索引设置为唯一索引，普通索引不具备唯一性约束，根本没法阻止重复插入。如果还没创建，执行这条SQL：

CREATE UNIQUE INDEX idx_your_table_4cols ON your_table(col1, col2, col3, col4);

如果是建表阶段，也可以直接在字段后加UNIQUE约束，或者用联合唯一约束的写法。

方案1：INSERT ... ON DUPLICATE KEY UPDATE（推荐，灵活可控）

这是最常用也最灵活的方案：当插入的行触发唯一索引冲突时，你可以选择更新某些字段，或者什么都不做（相当于跳过重复行）。

比如你只想跳过重复行，完全保留原有数据，就可以这么写：

INSERT INTO your_table(col1, col2, col3, col4, other_column)
VALUES 
  ('val1_1', 'val2_1', 'val3_1', 'val4_1', 'extra1'),
  ('val1_2', 'val2_2', 'val3_2', 'val4_2', 'extra2'),
  -- 这里放你的批量数据
  ('val1_n', 'val2_n', 'val3_n', 'val4_n', 'extran')
ON DUPLICATE KEY UPDATE col1 = col1; -- 更新一个和原值相同的字段，相当于啥也不做，只是跳过插入

如果需要在遇到重复时更新特定字段（比如更新最后修改时间），直接把UPDATE语句改成你需要的逻辑就行：

ON DUPLICATE KEY UPDATE update_time = NOW();

方案2：INSERT IGNORE INTO（简单但需谨慎）

这个语法会直接忽略所有插入时的错误，包括唯一键冲突，适合你能确定只有重复行问题、不会有其他插入错误的场景。

示例：

INSERT IGNORE INTO your_table(col1, col2, col3, col4, other_column)
VALUES 
  ('val1_1', 'val2_1', 'val3_1', 'val4_1', 'extra1'),
  ('val1_2', 'val2_2', 'val3_2', 'val4_2', 'extra2');

⚠️ 注意：它会忽略所有插入错误，比如数据类型不匹配、字段长度超出限制等，所以如果你的批量数据可能有其他问题，别用这个。

方案3：REPLACE INTO（不推荐用于保留旧行的场景）

这个语法的逻辑是：如果遇到唯一索引冲突，会先删除原来的行，再插入新行。这会覆盖掉原有数据，所以只有当你需要用新数据替换旧数据时才适合用，不符合你“保留唯一行”的需求，这里列出来是提醒别用错。

示例：

REPLACE INTO your_table(col1, col2, col3, col4, other_column)
VALUES 
  ('val1_1', 'val2_1', 'val3_1', 'val4_1', 'extra1');

额外注意事项

唯一索引的列如果允许NULL值，要注意：MySQL里NULL和NULL不算重复，所以如果你的4列中有允许NULL的，可能会出现你认为是重复但实际被插入的情况，建议把这些列设置为NOT NULL（如果业务允许）。
这些语法都支持批量插入的多行VALUES格式，完全适配你的批量插入需求。
如果你用的是其他数据库（比如PostgreSQL），语法会有差异，但核心逻辑都是靠唯一约束+插入时的冲突处理，不过看你提到的SELECT查询批量插入，应该是MySQL场景居多。

内容的提问来源于stack exchange，提问作者Malo