You need to enable JavaScript to run this app. PySpark DataFrame窗口函数条件分支实现及when调用报错
优惠活动
大模型
产品
解决方案
定价
更多

PySpark DataFrame窗口函数条件分支实现及when调用报错

报错原因
  • 语法错误:PySpark的when()方法必须传入两个参数:判断条件、条件命中时的返回值,你代码中仅传入了判断条件,未传对应返回值,直接触发when() missing 1 required positional argument: 'value'报错。
  • 逻辑错位:withColumn用于新增/修改DataFrame列值,不能直接在方法参数中嵌入filter行过滤操作;且窗口计算、列修改、行过滤的逻辑没有拆分,嵌套结构不符合PySpark API的调用规则。
  • 逻辑不匹配:你的实际需求是按row分组保留指定数量的记录,原有代码把过滤阈值、窗口计算、列修改逻辑杂糅在一起,完全无法实现预期的行筛选效果。
可实现需求的正确代码

按需求拆分流程,最终输出和目标表完全一致:

  1. 定义窗口规则:按row分区、date倒序排序
  2. 新增临时列存储窗口计算的行号
  3. 根据不同row值的阈值过滤数据,删除临时辅助列
import pyspark.sql.functions as f
from pyspark.sql import Window

# 定义窗口规则
window_spec = Window.partitionBy("row").orderBy(f.col("date").desc())

# 为每条记录生成窗口行号
df_with_rn = df.withColumn("rn", f.row_number().over(window_spec))

# 按条件过滤得到目标表
todo_code = df_with_rn.filter(
    f.when(f.col("row") == 2, f.col("rn") <= 3)
     .otherwise(f.col("rn") <= 1)
).drop("rn")
效果匹配验证

对照你提供的原始表和目标表结构,上述代码执行结果完全符合预期:

  • row=2的分区共5条记录,按date倒序排序后,前3条为test=a的记录(行号1/2/3)会被保留,后2条test=b的记录(行号4/5)因不满足rn <=3的条件被剔除。
  • row=1的分区仅1条记录,行号为1,满足rn <=1的条件会被保留。
  • 最终输出共4条记录,结构、值和期望的目标表完全一致。

注意:如果窗口排序后的留存顺序和业务预期不符,可以调整orderBy的排序方向(比如改为升序)匹配实际日期规则。

内容的提问来源于stack exchange,提问作者ushi Nier

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.27 06:06:09