PySpark DataFrame依赖前序行的UDF编写：实现Val2相邻对比标记

不管是Pandas还是PySpark场景，做跨行值对比都不需要写逐行循环、也不需要硬写逐行UDF，两者都有内置的跨行取值工具，代码更短、运行速度比逐行UDF高几个量级：

Pandas 场景实现 #

• 核心工具是Series自带的shift()方法，自动把上一行的Val2值对齐到当前行的对比位置，完全不需要自己维护索引、遍历行
• 实现步骤：
  1. 先按Date列做升序排序，确保行顺序是时间线正序，避免因为DataFrame行乱序取错前序值，排序后重置索引：
     df = df.sort_values("Date").reset_index(drop=True)
  2. 直接用向量化对比生成目标列：

# 逐行对比当前Val2和上一行Val2，符合条件标记为yes，不符合/无前置行设为空值
df["Val 2 Greater than prev"] = df["Val2"].gt(df["Val2"].shift(1)).map({True: "yes", False: None})

• 实际效果和示例要求完全匹配：第一行因为没有前置值，自动为NaN；第二行Val2从5涨到9，自动标记为yes
• 性能提示：自己写带索引的for循环逐行取值的方式，在万行以上规模的数据上，运行速度和向量化写法的差距会非常明显。

PySpark 场景实现 #

• 核心工具是窗口函数里的lag方法，专门用来取排序后当前行的前N行的值，不需要写逐行UDF
• 实现步骤：
  1. 导入需要的内置函数和窗口模块
  2. 定义排序规则：按Date列升序排列，保证行顺序符合时间逻辑
  3. 用内置的条件判断函数生成目标列

from pyspark.sql import Window
from pyspark.sql.functions import col, lag, when
# 定义全表按日期排序的窗口规则
time_window = Window.orderBy("Date")
# 生成目标列
df = df.withColumn(
    "Val 2 Greater than prev",
    when(
        col("Val2") > lag("Val2", 1).over(time_window),
        "yes"
    ).otherwise(None)
)

• 踩坑提示：PySpark里的自定义逐行UDF会把计算逻辑拉到单节点执行，没办法利用分布式的并行能力，处理大数量时速度远低于内置窗口函数+内置表达式的组合写法。

内容的提问来源于stack exchange，提问作者ayrnee