PySpark when otherwise语句区间重叠导致col2=7返回值异常

根因分析 #

该异常表现确实是区间边界重叠导致的：
Spark SQL中的between函数为左右闭区间，即col.between(a,b)等价于col >= a AND col <= b，数值7会同时满足第一个between(1,7)和第二个between(7,14)的判断条件。
若同时存在以下两种情况之一，就会出现结果波动：

• col2为浮点类型，存在精度误差，部分看起来为7的值实际略大于7、部分略小于7，匹配到不同分支
• col2为非确定性计算列（如通过随机函数生成、关联未落盘的动态数据源等），每次计算时的实际值会发生变化

修复方案 #

方案1：修改为左闭右开的边界判断（推荐，无重叠风险） #

df = df.withColumn('col1', F.when((F.col('col2') >= 1) & (F.col('col2') < 7), 1)
                             .when((F.col('col2') >= 7) & (F.col('col2') < 14), 2)
                             .when((F.col('col2') >= 14) & (F.col('col2') < 21), 3)
                             .when((F.col('col2') >= 21) & (F.col('col2') < 28), 4)
                             .otherwise(5))

方案2：调整between区间的起始值，避免边界重叠 #

如果业务逻辑中整数区间的端点需要完全闭合，可直接调整后续区间的起始值：

df = df.withColumn('col1', F.when(F.col('col2').between(1,7), 1)
                             .when(F.col('col2').between(8,14), 2)
                             .when(F.col('col2').between(15,21), 3)
                             .when(F.col('col2').between(22,28), 4)
                             .otherwise(5))

额外排查建议 #

如果调整边界后结果仍存在波动，可先对原始df执行缓存操作df.cache()后再计算col1，验证是否为col2的非确定性逻辑导致的结果不稳定。

内容的提问来源于stack exchange，提问作者Passive_coder