临时表插入复合主键重复错误排查及原因定位

提问者更新：我刚刚发现另一个脚本中存在相同的插入语句，这正是导致该错误的原因。

咱们先拆解你的问题：你在向带复合主键的临时表插入数据时遇到了主键重复错误，自己写的查询没找到正确的重复项，同时疑惑复合主键的作用以及如何获取唯一主键组合。下面一步步给你解答：

1. 为什么你的查询找不到重复的主键组合？ #

你写的这条查询逻辑存在明显问题：

SELECT account_key,COUNT(distinct processdate_est_key,package_id) FROM staging_package_dim GROUP BY account_key HAVING COUNT(account_key) >1 order by 1 limit 10

• 你只按account_key单个字段分组，但你的复合主键是三个字段的组合，单独分组根本无法定位到重复的主键组合；
• COUNT(distinct processdate_est_key,package_id)的写法在MySQL中并不能正确统计(processdate_est_key, package_id)的唯一组合，而且你没把另外两个主键字段放到查询结果里，自然看不到具体哪组数据重复。

2. 正确查找重复复合主键的SQL #

要精准找出重复的(account_key, processdate_est_key, package_id)组合，你需要按这三个字段一起分组，统计每组的出现次数：

SELECT 
  account_key, 
  processdate_est_key, 
  package_id, 
  COUNT(*) AS duplicate_count
FROM stage_package_dim
GROUP BY account_key, processdate_est_key, package_id
HAVING COUNT(*) > 1
ORDER BY duplicate_count DESC;

这条语句会直接列出所有重复的主键组合，以及它们重复的次数，帮你快速定位问题数据。

3. 关于复合主键的疑问：它确实会阻止重复插入！ #

你说得完全对，复合主键(account_key, processdate_est_key, package_id)的核心作用就是保证这三个字段的组合在表中唯一，不允许重复插入。你遇到错误的原因，正如你更新里提到的，是另一个脚本也在往这个临时表插入相同的主键组合——临时表是会话级别的，如果两个脚本在同一个会话里执行，或者临时表创建后没有正确清理，就会导致重复插入冲突。

4. 如何获取主键的唯一值？ #

如果想获取表中所有唯一的主键组合，直接用DISTINCT即可：

SELECT DISTINCT account_key, processdate_est_key, package_id
FROM stage_package_dim;

不过要注意：既然你插入时已经报错，说明表中已经存在该主键组合，表中的主键理论上都是唯一的（因为主键约束会阻止重复数据插入成功），你遇到的是待插入的数据和表中已存在的数据重复。

额外建议：避免重复插入的小技巧 #

• 插入前先校验数据源：对要插入的数据源执行上面的分组查询，提前过滤掉重复项；
• 使用INSERT IGNORE：如果允许忽略重复数据，可以用INSERT IGNORE INTO stage_package_dim (...) VALUES (...)，遇到重复主键时会跳过插入，不报错；
• 使用REPLACE INTO：如果需要用新数据覆盖旧数据，可以用REPLACE INTO，它会先删除旧的重复记录，再插入新数据（注意业务场景是否允许）。

内容的提问来源于stack exchange，提问作者A B