PySpark DataFrame窗口函数条件分支实现及when调用报错
报错原因
- 语法错误:PySpark的
when()方法必须传入两个参数:判断条件、条件命中时的返回值,你代码中仅传入了判断条件,未传对应返回值,直接触发when() missing 1 required positional argument: 'value'报错。 - 逻辑错位:
withColumn用于新增/修改DataFrame列值,不能直接在方法参数中嵌入filter行过滤操作;且窗口计算、列修改、行过滤的逻辑没有拆分,嵌套结构不符合PySpark API的调用规则。 - 逻辑不匹配:你的实际需求是按row分组保留指定数量的记录,原有代码把过滤阈值、窗口计算、列修改逻辑杂糅在一起,完全无法实现预期的行筛选效果。
可实现需求的正确代码
按需求拆分流程,最终输出和目标表完全一致:
- 定义窗口规则:按row分区、date倒序排序
- 新增临时列存储窗口计算的行号
- 根据不同row值的阈值过滤数据,删除临时辅助列
import pyspark.sql.functions as f from pyspark.sql import Window # 定义窗口规则 window_spec = Window.partitionBy("row").orderBy(f.col("date").desc()) # 为每条记录生成窗口行号 df_with_rn = df.withColumn("rn", f.row_number().over(window_spec)) # 按条件过滤得到目标表 todo_code = df_with_rn.filter( f.when(f.col("row") == 2, f.col("rn") <= 3) .otherwise(f.col("rn") <= 1) ).drop("rn")
效果匹配验证
对照你提供的原始表和目标表结构,上述代码执行结果完全符合预期:
- row=2的分区共5条记录,按date倒序排序后,前3条为test=a的记录(行号1/2/3)会被保留,后2条test=b的记录(行号4/5)因不满足
rn <=3的条件被剔除。 - row=1的分区仅1条记录,行号为1,满足
rn <=1的条件会被保留。 - 最终输出共4条记录,结构、值和期望的目标表完全一致。
注意:如果窗口排序后的留存顺序和业务预期不符,可以调整orderBy的排序方向(比如改为升序)匹配实际日期规则。
内容的提问来源于stack exchange,提问作者ushi Nier
相关产品推荐
相关产品推荐

