SQL合并父数据表与关联映射表中的重复值问题

这问题我之前在项目里碰到过类似场景，核心是必须先迁移映射表的关联关系，再清理父表重复数据，不然外键约束直接会拦着你操作。下面是一步步可落地的操作方案：

1. 先锁定父表的重复组与保留主记录 #

首先得明确父表中哪些是重复数据（比如按业务唯一字段判断，比如name+description），然后为每个重复组选定要保留的"主记录ID"（比如选组内最小的ID，或者最新更新的，根据业务规则定）。用SQL先把这些信息查出来：

-- 示例：按name和description分组，找出每个重复组要保留的主ID（这里选最小id）
SELECT MIN(id) AS keep_id, name, description
FROM parent_table
GROUP BY name, description
HAVING COUNT(*) > 1;

把查询结果存到临时表（比如temp_keep_parent_ids）或者CTE里，方便后续操作引用。

2. 迁移映射表的关联关系到主记录 #

映射表（比如parent_main_mapping）里现在还关联着父表的重复ID，得先把所有指向重复父记录的映射行，全部改成对应主记录的ID。一定要用事务包裹，避免中途出错导致数据混乱：

BEGIN TRANSACTION;

-- 更新映射表：将重复父ID的关联指向主记录ID
UPDATE parent_main_mapping
SET parent_id = t.keep_id
FROM temp_keep_parent_ids t
JOIN parent_table p ON p.name = t.name AND p.description = t.description
WHERE parent_main_mapping.parent_id = p.id AND p.id != t.keep_id;

-- 验证更新结果：检查是否还有映射行指向要删除的父ID
SELECT * 
FROM parent_main_mapping
WHERE parent_id NOT IN (SELECT keep_id FROM temp_keep_parent_ids);

-- 验证无误后提交事务
COMMIT;

这一步是核心！如果先删父表，外键的ON DELETE CASCADE规则会直接删掉映射表的对应行，那数据就丢了，所以必须先把关联关系迁移到保留的主记录上。

3. 安全清理父表的重复记录 #

现在映射表已经没有指向重复父记录的关联了，就可以放心删除父表的重复行，同样用事务保障：

BEGIN TRANSACTION;

-- 删除父表中不属于主记录的重复行
DELETE FROM parent_table
WHERE id NOT IN (SELECT keep_id FROM temp_keep_parent_ids);

-- 验证清理结果：确认父表已无重复
SELECT name, description, COUNT(*)
FROM parent_table
GROUP BY name, description
HAVING COUNT(*) > 1;

-- 没问题就提交事务
COMMIT;

额外注意事项 #

• 先备份！ 操作前必须备份父表和映射表的全量数据，万一操作失误可以快速回滚。
• 外键规则的坑：如果外键设置了ON DELETE CASCADE，绝对不能先删父表，否则映射表的关联数据会被自动删除，造成不可逆的损失。
• 大表优化：如果数据量很大，先给父表的重复判断字段（比如name、description）和映射表的parent_id加临时索引，能大幅提升查询和更新的速度。
• 业务规则确认：一定要和业务方确认清楚哪个重复记录需要保留（比如最早创建的还是最新更新的），避免保留错误记录导致业务异常。

内容的提问来源于stack exchange，提问作者JRP