Spark底层排序机制问询：大数据下Rank窗口函数实现原理

场景回顾 #

• 数据规模：100GB单CSV文件
• 需求：基于customer_spends_in_dollar列生成全局排名rank列，代码如下：

import pyspark.sql.functions as F
from pyspark.sql.window import Window

df = spark.read.csv('file.csv')    
(
    df
    .withColumn(
        'rank',
        F.rank().over(
            Window().orderBy('customer_spends_in_dollar')
        )
    )
).display()

• 集群配置：8GB Driver，2个8GB Worker节点（每节点2核）
• 核心疑问：数据无法全量加载到单个节点，单分区排序做不到全局有序，Driver内存也装不下全量数据，但Spark仍能完成任务，只是耗时较长，底层到底怎么运作的？

核心逻辑：分布式洗牌+归并排序的全局有序化 #

Spark处理这种无PARTITION BY的全局窗口排序时，靠的是分阶段的分布式排序+洗牌，具体流程拆解：

1. 局部分区排序
   Spark会先把100GB的大文件拆成多个小分区（默认和存储块大小一致，比如HDFS的128MB块），分配到Worker的Executor上。每个Executor先对自己负责的分区数据，按customer_spends_in_dollar做局部排序，同时记录下该分区内该字段的最小、最大值——这部分元数据体量极小。

2. 全局边界规划
   Driver会收集所有分区的最小/最大值，然后根据这些数据把全局的customer_spends_in_dollar范围切成N个连续的区间（比如0-100、100-200...），每个区间对应一个"桶"。这一步Driver仅处理几百条元数据，完全不会触碰100GB原始数据，8GB内存完全够用。

3. Shuffle洗牌：数据按区间重分配
   每个Executor会把自己分区里的数据，按照Driver规划的区间，将对应数据发送到指定Executor的对应桶中。比如某条数据的customer_spends_in_dollar是50，就会被送到0-100区间对应的桶里。
   这一步完成后，每个桶里的数据都是全局有序的一部分：第一个桶全是最小的一批值，第二个桶是次小的，以此类推，且每个桶内的局部数据已经是排序好的。

4. 归并排序+全局排名计算
   每个Executor收到对应桶的多份局部有序数据后，执行归并排序——类似把几本已经按页码排好的书，合并成一本完整的有序书籍。归并排序不需要一次性加载所有数据到内存，可分块流式处理。
   最后Spark按桶的顺序依次遍历数据，计算全局排名。因为数据已经全局有序，rank函数可以线性处理相同值的并列情况，全程没有任何节点需要加载全量100GB数据。

为什么不会出现单节点内存溢出？ #

• 全程无节点需要加载全量数据：每个Executor仅处理部分分区或桶的数据，Driver仅处理极小的元数据。
• 归并排序采用流式处理，每个阶段只处理部分数据块，不会一次性占用大量内存。

内容的提问来源于stack exchange，提问作者crepantherx