PySpark Window分区函数rangeBetween计算逻辑及currentRow使用疑问

rangeBetween的核心规则 #

Spark的窗口范围分两类，计算逻辑完全不同：

• rowsBetween 按分区内的物理行相对位置划定计算范围，偏移单位是行数，和ORDER BY列的实际值无关
• rangeBetween 按窗口ORDER BY列的实际数值划定计算范围，偏移单位是ORDER BY列的数值单位，只要同分区内的行ORDER BY值落在划定的数值区间内，不管和当前行的物理距离有多远，都会被纳入聚合计算。

你看到sum=4的计算过程 #

你定义的窗口规则为：

window = Window.partitionBy("category").orderBy("id").rangeBetween(Window.currentRow, 1)

这个规则的等价描述是：对同分区下的每一行，取满足id值 >= 当前行id值 且 id值 <= 当前行id值 + 1 的所有行，计算sum值。
我们按分区逐行计算：

1. category = "a" 分区的所有行id值为：1、1、2
   • 对所有id=1的行：划定的数值区间是[1, 1+1=2]，也就是a分区内所有id落在1~2之间的行，即两个id=1的行 + 一个id=2的行，sum = 1+1+2 = 4，这就是你看到sum取值为4的来源。
   • 对id=2的行：划定的数值区间是[2, 2+1=3]，a分区内符合条件的只有这一行本身，sum=2。
2. category = "b" 分区的所有行id值为：1、2、3
   • id=1的行：区间[1,2]，包含id=1和id=2的两行，sum=3
   • id=2的行：区间[2,3]，包含id=2和id=3的两行，sum=5
   • id=3的行：区间[3,4]，只有自身，sum=3

这里要特别注意一个高频踩坑点：只要分区内ORDER BY列存在重复值，所有和当前行ORDER BY值相等的行，都会被自动划入当前行的窗口边界内，和这些行的物理位置无关。

为什么不直接用0替代Window.currentRow #

虽然从源码实现看，Window.currentRow的常量值确实是整数0，但实际开发中不会直接用0替代，核心原因有三点：

1. 避免语义歧义：如果直接写0作为边界值，读代码的人无法直接判断这个0的含义——是rowsBetween规则下的当前行？还是rangeBetween规则下的数值偏移？用Window.currentRow常量，不管搭配哪个范围函数，所有人都能一眼理解边界是“当前行位置”，不会产生歧义。
2. 自动适配框架边界逻辑：Window.currentRow在窗口执行时，会自动处理ORDER BY列重复值的边界兼容逻辑，手动写0需要开发者自己判断重复值的归属边界，很容易出现计算偏差。
3. 消除魔法数字，提升可维护性：Spark窗口的三个边界常量（unboundedPreceding、unboundedFollowing、currentRow）都是对底层边界值的语义封装。如果直接写rangeBetween(0, 1)，新接触代码的人需要翻很久文档才能理解这个0的含义，用常量名能大幅降低后续的维护成本。

内容的提问来源于stack exchange，提问作者user288609