如何为Spark DataFrame生成连续排名？解决RANK()重复排名问题

嘿，这个场景太常见了！你当前使用的RANK()函数本身就有这样的特性：当存在相同的valrank值时，它会给这些行分配相同的排名，并且自动跳过后续的排名位置——这就是为什么你会看到一堆13，而不是连续的13、14、15...。

如果想要得到连续且唯一的排名，哪怕valrank相等，你只需要把RANK()换成ROW_NUMBER()函数就行。不过这里有个小细节：为了保证相同valrank的行排名结果是确定的（不会每次运行都变化），最好在ORDER BY里再加一个唯一的字段作为二次排序条件，比如item_pk。

修改后的代码 #

SELECT country_pk, cat_pk, item_pk, valrank, 
       ROW_NUMBER() OVER (PARTITION BY cat_pk ORDER BY valrank DESC, item_pk) AS rank 
FROM df

为啥这样管用？ #

• ROW_NUMBER()会为分区内的每一行分配一个唯一的连续整数排名，完全不会因为值相同而重复。
• 加上item_pk作为二次排序，是因为当valrank相等时，Spark需要一个明确的排序依据来确定行的顺序，避免排名结果随机变化。

顺便给你梳理下三个排名函数的区别，方便以后选对工具： #

• RANK()：相同值共享排名，后续排名会跳过（比如你的例子里，8个0.0的行都排13，下一个排名直接跳到21）
• DENSE_RANK()：相同值共享排名，但后续排名不跳过（比如8个0.0的行都排13，下一个排名是14）
• ROW_NUMBER()：每一行都是唯一的连续排名（不管值是否相同，依次递增）

内容的提问来源于stack exchange，提问作者Markus