PySpark窗口函数mean/max/min结果异常原因探究

• 这问题本质是PySpark窗口帧的默认规则搞的鬼：当窗口定义里写了orderBy，PySpark会自动把窗口范围设成从分区第一行到当前行（RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW），而不是覆盖整个分区的所有行。
• 所以你算mean_score、max_score、min_score的时候，每行的结果其实是当前行及之前所有行的统计值：
  • 第一行只有自己，所以mean、max、min全等于该行的score
  • 第二行是前两行的统计结果，第三行是前三行的，以此类推，同一分区里每行结果肯定不一样
• 当你去掉全局orderBy，或者只给需要排序的字段（比如生成row_num的窗口）单独加orderBy时，窗口帧默认是覆盖整个分区（RANGE BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING），这时候聚合的是整个分区的所有数据，所以同一分区里每行结果都一致。

如果要保留全局排序同时拿到整个分区的聚合值，得手动指定窗口帧：

from pyspark.sql import Window
import pyspark.sql.functions as F

# 显式设置窗口帧覆盖整个分区
window_spec = Window.partitionBy("你的分区列").orderBy("你的排序列") \
    .rangeBetween(Window.unboundedPreceding, Window.unboundedFollowing)

df = df.withColumn("mean_score", F.avg("score").over(window_spec))

内容的提问来源于stack exchange，提问作者HeyWatchThis