如何编写SQL查询单列多值场景下的重复数据并返回ID更大的行
SQL实现方案
方案1:GROUP BY + HAVING 实现(匹配你预期的语法选型)
核心思路是先对ItemCode做同义归一化,筛选出存在重复的分组,再关联原表取出每个分组中ID最大的重复记录:
SELECT t.* FROM 你的表名 t INNER JOIN ( -- 归一化ItemCode并筛选有重复的分组,取分组内最大ID SELECT Cust#, Order#, DataPoint1, DataPoint2, CASE ItemCode WHEN 'I' THEN 'Insert' WHEN 'D' THEN 'Delete' ELSE ItemCode END AS norm_itemcode, MAX(ID) AS target_dup_id FROM 你的表名 GROUP BY Cust#, Order#, DataPoint1, DataPoint2, norm_itemcode HAVING COUNT(*) >= 2 ) dup_groups ON t.Cust# = dup_groups.Cust# AND t.Order# = dup_groups.Order# AND t.DataPoint1 = dup_groups.DataPoint1 AND t.DataPoint2 = dup_groups.DataPoint2 AND t.ID = dup_groups.target_dup_id AND CASE t.ItemCode WHEN 'I' THEN 'Insert' WHEN 'D' THEN 'Delete' ELSE t.ItemCode END = dup_groups.norm_itemcode;
逻辑说明:
- 内层子查询通过
CASE语句将ItemCode的同义值映射为统一值,避免'I'和'Insert'、'D'和'Delete'被判定为不同项 - 按业务指定的重复判定维度分组后,通过
HAVING COUNT(*) >= 2筛选出存在重复的分组,同时取每个分组的最大ID(即你需要返回的较晚插入的重复行ID) - 外层关联原表即可取出对应重复行的全字段信息
方案2:窗口函数实现(写法更简洁,性能更优)
如果你的数据库支持窗口函数(MySQL 8.0+、PostgreSQL、SQL Server、Oracle等均支持),可以使用更简化的写法:
SELECT ID, Cust#, Order#, ItemCode, DataPoint1, DataPoint2 FROM ( SELECT *, ROW_NUMBER() OVER( PARTITION BY Cust#, Order#, DataPoint1, DataPoint2, CASE ItemCode WHEN 'I' THEN 'Insert' WHEN 'D' THEN 'Delete' ELSE ItemCode END ORDER BY ID DESC ) AS row_rank FROM 你的表名 ) t WHERE row_rank = 2;
逻辑说明:
- 按重复判定维度分区,每个分区内按ID倒序排序,
row_rank = 2对应的就是每个2行重复组中ID更大的那行 - 如果存在超过2条记录的重复组,需要返回除最小ID之外的所有重复行,将WHERE条件修改为
row_rank > 1即可
内容的提问来源于stack exchange,提问作者Ron Wynn
相关产品推荐
相关产品推荐

