MySQL：无主键场景下的数据导入方案咨询

嘿，我之前也碰到过几乎一模一样的场景——公司老系统导出的人员数据乱七八糟，没主键还没法改源数据，每月靠Excel转CSV导入。给你几个实战验证过的方案，应该能解决你的无主键导入问题：

方案1：构建复合唯一键（最推荐的实战方案） #

既然没有单一的唯一主键，那就找几个理论上不会同时重复的字段组合起来当复合键。比如结合姓名+所属部门+入职日期（如果这些字段存在且有一定准确性），或者姓名+手机号后四位+岗位名称这类组合。

• 先在数据库表中给这些字段创建复合唯一索引，从数据库层面拦截重复数据
• 导入时用数据库的冲突处理语法：MySQL用INSERT ... ON DUPLICATE KEY UPDATE，PostgreSQL用ON CONFLICT DO UPDATE，这样既能插入新人员数据，又能自动更新已有人员的变动信息（比如部门调整、手机号变更）

方案2：生成哈希伪主键 #

如果连靠谱的复合字段都凑不齐，那就用哈希值来做伪主键：

• 处理CSV时，把每条记录的所有非空字段按固定顺序拼接成字符串（比如姓名|部门|邮箱|入职日期），然后生成MD5或者SHA-256哈希值
• 把这个哈希值作为表的主键字段，导入前先检查哈希值是否存在，存在则更新记录，不存在则插入
• 注意：预处理时一定要统一字段格式——比如姓名去掉前后空格、手机号只留数字、日期转成标准格式，不然同一条记录可能因为格式差异生成不同哈希值

方案3：结合导入批次的临时唯一标识 #

因为你是每月固定导入报表，可以给每条记录加上导入批次号（比如202408代表2024年8月的报表），再配合CSV里的行号（跳过表头行）：

• 数据库表新增batch_no和row_index两个字段，给它们创建复合唯一索引
• 导入时，用批次号+行号作为临时唯一键，确保同一批次里不会重复导入同一行；后续如果不同批次出现同一人员，可以通过其他字段做匹配更新
• 这种方式适合暂时没法确定稳定唯一标识的情况，后续梳理出更靠谱的字段后再替换掉这个临时键

必做的预处理步骤 #

不管用哪种方案，导入前的CSV预处理都能帮你减少很多麻烦：

• 统一字段格式：比如把所有日期转成YYYY-MM-DD、手机号去掉-或空格、姓名转成全角/半角统一格式
• 过滤无效记录：完全空的行、没有任何有效标识（比如姓名和部门都为空）的行直接跳过
• 记录导入日志：把每次导入的批次号、成功/失败记录数、重复记录详情存下来，方便后续排查问题

内容的提问来源于stack exchange，提问作者Zephyr