You need to enable JavaScript to run this app. 如何编写SQL查询单列多值场景下的重复数据并返回ID更大的行
优惠活动
大模型
产品
解决方案
定价
更多

如何编写SQL查询单列多值场景下的重复数据并返回ID更大的行

SQL实现方案

方案1:GROUP BY + HAVING 实现(匹配你预期的语法选型)

核心思路是先对ItemCode做同义归一化,筛选出存在重复的分组,再关联原表取出每个分组中ID最大的重复记录:

SELECT t.*
FROM 你的表名 t
INNER JOIN (
    -- 归一化ItemCode并筛选有重复的分组,取分组内最大ID
    SELECT 
        Cust#,
        Order#,
        DataPoint1,
        DataPoint2,
        CASE ItemCode 
            WHEN 'I' THEN 'Insert' 
            WHEN 'D' THEN 'Delete' 
            ELSE ItemCode 
        END AS norm_itemcode,
        MAX(ID) AS target_dup_id
    FROM 你的表名
    GROUP BY Cust#, Order#, DataPoint1, DataPoint2, norm_itemcode
    HAVING COUNT(*) >= 2
) dup_groups
ON t.Cust# = dup_groups.Cust#
AND t.Order# = dup_groups.Order#
AND t.DataPoint1 = dup_groups.DataPoint1
AND t.DataPoint2 = dup_groups.DataPoint2
AND t.ID = dup_groups.target_dup_id
AND CASE t.ItemCode WHEN 'I' THEN 'Insert' WHEN 'D' THEN 'Delete' ELSE t.ItemCode END = dup_groups.norm_itemcode;

逻辑说明:

  • 内层子查询通过CASE语句将ItemCode的同义值映射为统一值,避免'I'和'Insert'、'D'和'Delete'被判定为不同项
  • 按业务指定的重复判定维度分组后,通过HAVING COUNT(*) >= 2筛选出存在重复的分组,同时取每个分组的最大ID(即你需要返回的较晚插入的重复行ID)
  • 外层关联原表即可取出对应重复行的全字段信息

方案2:窗口函数实现(写法更简洁,性能更优)

如果你的数据库支持窗口函数(MySQL 8.0+、PostgreSQL、SQL Server、Oracle等均支持),可以使用更简化的写法:

SELECT ID, Cust#, Order#, ItemCode, DataPoint1, DataPoint2
FROM (
    SELECT 
        *,
        ROW_NUMBER() OVER(
            PARTITION BY 
                Cust#, 
                Order#, 
                DataPoint1, 
                DataPoint2, 
                CASE ItemCode WHEN 'I' THEN 'Insert' WHEN 'D' THEN 'Delete' ELSE ItemCode END
            ORDER BY ID DESC
        ) AS row_rank
    FROM 你的表名
) t
WHERE row_rank = 2;

逻辑说明:

  • 按重复判定维度分区,每个分区内按ID倒序排序,row_rank = 2对应的就是每个2行重复组中ID更大的那行
  • 如果存在超过2条记录的重复组,需要返回除最小ID之外的所有重复行,将WHERE条件修改为row_rank > 1即可

内容的提问来源于stack exchange,提问作者Ron Wynn

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.17 15:36:04