PySpark中如何实现按首次出现处理并列值的dense_rank排名

dense_rank函数本身无法直接实现该效果，dense_rank的核心逻辑是为排序键相同的行分配完全相同的排名，不会区分相同值的出现顺序。

要实现和Pandas中rank(method='first')完全一致的「相同值按首次出现顺序分配不重复排名」的效果，可以按以下步骤操作：

• 第一步：给DataFrame新增一列标记原始行顺序的唯一标识，因为Spark DataFrame是分布式结构，本身没有隐式的行顺序，需要显式保留原始顺序信息，推荐用monotonically_increasing_id()生成，这个函数会按照数据的原始分区、行顺序生成全局唯一的递增ID：

from pyspark.sql import functions as F
df = df.withColumn("raw_row_order", F.monotonically_increasing_id())

• 第二步：定义窗口规则，排序时先按你需要排名的目标列排序，再按刚才生成的原始行顺序列排序，保证相同值的行按原始出现顺序排列：

from pyspark.sql.window import Window
# 示例为对`score`列降序排名，相同分数按原始出现顺序分配先后排名
window_spec = Window.orderBy(F.desc("score"), F.asc("raw_row_order"))

• 第三步：使用row_number()函数生成排名即可，此时因为窗口的排序键组合是唯一的，用dense_rank()也会得到完全相同的结果：

df = df.withColumn("rank", F.row_number().over(window_spec))

效果示例：假设原始数据score列的值为[90, 85, 85, 95, 85]，最终得到的rank列结果为[2,3,4,1,5]，和Pandasrank(method='first', ascending=False)的输出完全一致。

内容的提问来源于stack exchange，提问作者s223