PySpark Window聚合差异：含排序与无排序WindowSpec结果对比

核心问题：窗口帧（Window Frame）的默认行为差异 #

你遇到的问题本质是窗口帧的默认规则导致的，这是PySpark Window函数最容易被忽略的细节：

• 当窗口定义仅包含PARTITION BY（无ORDER BY）时，默认窗口帧是RANGE BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING，即覆盖整个分区的所有行。此时聚合函数（比如max()）会对整个分区计算，得到的是分区内的全局最大值。
• 当窗口定义同时包含PARTITION BY和ORDER BY时，默认窗口帧变为RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW，即只覆盖从分区起始行到当前行的范围。此时max(row_number())只会计算当前行及之前所有行的行号最大值，结果就是当前行的行号，而非整个分区的最大行号。

代码示例验证 #

你的场景可以用以下代码直观体现两种窗口的行为差异：

from pyspark.sql import SparkSession
from pyspark.sql.window import Window
from pyspark.sql.functions import row_number, max

spark = SparkSession.builder.getOrCreate()
# 模拟员工测试数据
df = spark.createDataFrame([
    ("Alice", "Engineering", 10000),
    ("Bob", "Engineering", 12000),
    ("Charlie", "HR", 8000),
    ("David", "HR", 9000)
], ["name", "department", "salary"])

# 带排序的窗口（默认帧：仅覆盖到当前行）
windowSpec = Window.partitionBy("department").orderBy("salary")
df.withColumn("row_num", row_number().over(windowSpec)) \
  .withColumn("MaxRowNum", max("row_num").over(windowSpec)) \
  .show()
# 结果中MaxRowNum等于当前row_num，因为聚合范围被限制到当前行之前

# 仅分区的窗口（默认帧：覆盖整个分区）
windowSpecAgg = Window.partitionBy("department")
df.withColumn("row_num", row_number().over(windowSpec)) \
  .withColumn("MaxRowNum", max("row_num").over(windowSpecAgg)) \
  .show()
# 结果中MaxRowNum是分区内的总行数，即预期的最大行号

文档中的规则说明 #

PySpark的Window函数行为遵循SQL:2003标准，相关细节在官方文档中明确记载：

• 在Window类的官方文档中，关于窗口帧的章节提到：若窗口指定了ORDER BY但未显式设置帧范围，默认使用从分区起始到当前行的范围；若没有ORDER BY，默认使用覆盖整个分区的范围。
• 多数聚合函数的文档也会注明，其计算结果依赖于窗口帧的定义。你之前可能只关注了分区和排序的设置，忽略了窗口帧这个关键组件。

解决方法：显式指定窗口帧 #

如果需要在带排序的窗口中计算整个分区的聚合结果，只需显式设置窗口帧为覆盖整个分区：

windowSpecFull = Window.partitionBy("department").orderBy("salary") \
                       .rowsBetween(Window.unboundedPreceding, Window.unboundedFollowing)
df.withColumn("row_num", row_number().over(windowSpec)) \
  .withColumn("MaxRowNum", max("row_num").over(windowSpecFull)) \
  .show()
# 此时MaxRowNum会正确返回分区内的最大行号

内容的提问来源于stack exchange，提问作者user2153235