使用rank()窗口函数去重SQL数据集时同组排名重复的问题排查
问题原因排查
- 先把
rank()的核心设计逻辑讲透:这个窗口函数天生是为同值并列排名设计的,只要同分区内两条记录的排序键值完全相等,就会分配完全相同的排名,根本不会因为是不同物理行就生成差异化编号。你现在同id的两条记录都拿到ranking=1,直接说明在窗口函数计算过程中,你指定的排序键z.rowid对这两条记录的取值是完全相等的——大概率是写查询时出现了别名引用错误,或是在嵌套查询/视图场景下,z.rowid没有映射到真实表的物理行标识,导致排序键失真,最终触发了rank的同值同排名规则。 - 选型偏差也是核心问题:你想用
rank()实现逐行拆分组、取每组第一条的去重逻辑,从工具选择上就错了。只要排序键出现同值,rank就会批量生成同排名,根本达不到逐行拆分的目的。
修正方案
- 换适配场景的窗口函数:要实现同分区下逐行生成唯一不重复的序号,直接用
row_number()。这个函数的特性是哪怕同分区下的排序键取值完全相等,也会给每一行生成逐行递增的唯一无重复序号(1、2、3…),完全不会出现同排名的问题,天生适配按组取第一条的去重场景。 - 修正后的可运行代码:
with get_rank as ( select id, code, row_number() over (partition by id order by z.rowid) as ranking from mytable z ) select * from get_rank where ranking = 1 and id = 72755
- 实操提醒:
- 如果你的去重需求是纯业务字段层面的(比如同id、同code就算重复,不需要拆分物理行),不用硬套窗口函数,直接用
select distinct id, code from mytable where id = 72755或者按字段做group by就能实现,写出来的逻辑更简单执行效率也更高。 - 如果需要保留同组下特定规则的记录(比如最新创建的、金额最大的那条),一定要把窗口函数的
order by子句换成对应优先级的业务字段,别依赖容易出现引用错配的rowid当排序键,否则很容易出现意料之外的结果。
- 如果你的去重需求是纯业务字段层面的(比如同id、同code就算重复,不需要拆分物理行),不用硬套窗口函数,直接用
内容的提问来源于stack exchange,提问作者user3691608
相关产品推荐
相关产品推荐

