MySQL自增主键表导入CSV数据：解决INSERT.. ON DUPLICATE UPDATE主键重复问题

咱先理清楚核心问题：你的两张表employees和job的Id是自增主键，CSV里的Id和现有表的主键重复，导致INSERT.. ON DUPLICATE UPDATE没法正常跑——其实这个问题的关键在于，自增主键的设计初衷就是让数据库自动管理，不需要手动指定，所以我们可以从几个方向来解决：

方案1：忽略CSV中的Id，让MySQL自动生成自增主键（最推荐） #

这是最安全、符合自增主键设计逻辑的做法，操作起来也简单：

方法A：直接用LOAD DATA INFILE导入（效率最高） #

假设你的employees表结构是Id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(50), department VARCHAR(50)，CSV列顺序是Id,name,department且第一行是表头：

LOAD DATA INFILE '/你自己的文件路径/employees.csv'
INTO TABLE employees
FIELDS TERMINATED BY ',' ENCLOSED BY '"' -- 根据你的CSV实际格式调整分隔符/包围符
LINES TERMINATED BY '\n'
IGNORE 1 ROWS -- 跳过CSV的表头行
(name, department); -- 只指定非主键列，让MySQL自动生成Id

同样的逻辑直接复制到job表，替换表名、CSV路径和列名即可。

方法B：通过临时表中转（适合需要先校验数据的场景） #

如果需要先检查CSV数据再导入，可以先把数据导入临时表，再筛选插入：

-- 1. 创建和employees结构一致的临时表，取消Id的自增属性
CREATE TEMPORARY TABLE temp_employees LIKE employees;
ALTER TABLE temp_employees MODIFY COLUMN Id INT;

-- 2. 导入CSV到临时表
LOAD DATA INFILE '/你自己的文件路径/employees.csv'
INTO TABLE temp_employees
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;

-- 3. 插入到正式表，只取非主键列自动生成Id
INSERT INTO employees (name, department)
SELECT name, department FROM temp_employees;

-- 4. 清理临时表
DROP TEMPORARY TABLE temp_employees;

方案2：根据其他唯一键进行更新/插入（适合数据同步场景） #

如果你需要保留CSV里的其他数据，并且希望当某条数据的非主键唯一标识重复时更新现有行，那可以先给表加唯一索引，再用INSERT.. ON DUPLICATE KEY UPDATE：

比如假设employees表的email是唯一标识：

-- 1. 给表添加唯一索引（如果还没有的话）
ALTER TABLE employees ADD UNIQUE INDEX idx_employee_email (email);

-- 2. 导入CSV，遇到email重复时更新数据
LOAD DATA INFILE '/你自己的文件路径/employees.csv'
INTO TABLE employees
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS
(Id, name, department, email)
ON DUPLICATE KEY UPDATE
name = VALUES(name),
department = VALUES(department);

这里的ON DUPLICATE KEY UPDATE触发的是唯一索引冲突，而非主键冲突，完美避开自增Id重复的问题。

方案3：跳过冲突行（适合不需要保留冲突数据的场景） #

如果你的需求很简单：只导入CSV中未与现有表主键重复的数据，冲突行直接跳过，那可以用INSERT IGNORE：

-- 可以结合临时表使用，也可以直接导入
INSERT IGNORE INTO employees (Id, name, department)
SELECT Id, name, department FROM temp_employees;

INSERT IGNORE会自动忽略主键/唯一键冲突的行，不会报错，但会丢失这些冲突数据，使用前请确认符合需求。

方案4：替换冲突行（谨慎使用） #

如果需要用CSV数据完全替换现有表中主键相同的行，可以用REPLACE INTO：

REPLACE INTO employees (Id, name, department)
SELECT Id, name, department FROM temp_employees;

⚠️ 注意：REPLACE INTO的原理是先删除现有主键冲突的行，再插入新行。如果你的表有外键关联，可能会导致关联数据被删除（若外键设置了ON DELETE CASCADE），一定要谨慎使用！

内容的提问来源于stack exchange，提问作者Akshatha