如何在PySpark DataFrame中更新指定行？解决循环更新仅最后一行生效问题

你的问题出在循环更新的逻辑上：每次调用withColumn("col_", ...)都会完全替换col_列的定义。第一次循环处理ID=1时，col_仅对ID=1的行赋值，其他行变为null；第二次循环处理ID=2时，又重新定义col_为ID=2时的日期，之前ID=1的行也会被重置为null；最后一次循环后，只有ID=3的行保留更新值，其余全被覆盖，所以只有最后一个ID生效。

正确解决方案：批量匹配指定ID #

不要循环逐个处理，直接用isin()一次性匹配所有目标ID，同时保留非目标行的原有值（如果需要），一次完成更新：

情况1：col_已存在，保留非目标ID的原有值

from pyspark.sql import functions as F
from datetime import date, timedelta

list_rid = [1,2,3]
new_date = date.today() - timedelta(days=1)

df = df.withColumn(
    "col_",
    # 匹配目标ID则更新日期，否则保留原字段值
    F.when(F.col('ID').isin(list_rid), F.lit(new_date).cast("date"))
    .otherwise(F.col("col_"))
)

情况2：col_是新字段，非目标ID行设为默认值（比如null）

from pyspark.sql import functions as F
from datetime import date, timedelta

list_rid = [1,2,3]
new_date = date.today() - timedelta(days=1)

df = df.withColumn(
    "col_",
    F.when(F.col('ID').isin(list_rid), F.lit(new_date).cast("date"))
    # 可选：添加otherwise设置默认值，比如.otherwise(F.lit(None).cast("date"))
)

补充说明 #

PySpark的DataFrame是不可变的，每次withColumn都会生成新的DataFrame。循环中反复替换df会导致之前的更新逻辑被完全覆盖，既低效又不符合分布式计算的设计思路。用isin()批量处理不仅能解决你的问题，还能提升代码执行效率。

内容的提问来源于stack exchange，提问作者ramya danappa