You need to enable JavaScript to run this app. 使用rank()窗口函数去重SQL数据集时同组排名重复的问题排查
优惠活动
大模型
产品
解决方案
定价
更多

使用rank()窗口函数去重SQL数据集时同组排名重复的问题排查

问题原因排查
  • 先把rank()的核心设计逻辑讲透:这个窗口函数天生是为同值并列排名设计的,只要同分区内两条记录的排序键值完全相等,就会分配完全相同的排名,根本不会因为是不同物理行就生成差异化编号。你现在同id的两条记录都拿到ranking=1,直接说明在窗口函数计算过程中,你指定的排序键z.rowid对这两条记录的取值是完全相等的——大概率是写查询时出现了别名引用错误,或是在嵌套查询/视图场景下,z.rowid没有映射到真实表的物理行标识,导致排序键失真,最终触发了rank的同值同排名规则。
  • 选型偏差也是核心问题:你想用rank()实现逐行拆分组、取每组第一条的去重逻辑,从工具选择上就错了。只要排序键出现同值,rank就会批量生成同排名,根本达不到逐行拆分的目的。
修正方案
  • 换适配场景的窗口函数:要实现同分区下逐行生成唯一不重复的序号,直接用row_number()。这个函数的特性是哪怕同分区下的排序键取值完全相等,也会给每一行生成逐行递增的唯一无重复序号(1、2、3…),完全不会出现同排名的问题,天生适配按组取第一条的去重场景。
  • 修正后的可运行代码:
with get_rank as (
    select 
        id, 
        code, 
        row_number() over (partition by id order by z.rowid) as ranking
    from mytable z                          
) 
select * 
from get_rank
where ranking = 1
and id = 72755
  • 实操提醒:
    • 如果你的去重需求是纯业务字段层面的(比如同id、同code就算重复,不需要拆分物理行),不用硬套窗口函数,直接用select distinct id, code from mytable where id = 72755或者按字段做group by就能实现,写出来的逻辑更简单执行效率也更高。
    • 如果需要保留同组下特定规则的记录(比如最新创建的、金额最大的那条),一定要把窗口函数的order by子句换成对应优先级的业务字段,别依赖容易出现引用错配的rowid当排序键,否则很容易出现意料之外的结果。

内容的提问来源于stack exchange,提问作者user3691608

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.09 16:54:09