PySpark：按flag值批量更新指定列为空或保留原值的代码问题

你的代码没达到预期效果的核心原因：循环中每次都基于原始的df生成新的DataFrame，导致前序列的修改被覆盖，最终只有最后一列的修改生效。

修复后的代码 #

from pyspark.sql.functions import when

col_list = ['age','label','test','length','work','least']

# 初始化test为原始DataFrame，后续每次循环基于修改后的test更新
test = df
for i in col_list:
    test = test.withColumn(i, when(df.flag != True, df[i]).otherwise(''))

额外注意事项 #

如果你的列是数值类型（比如age是整数），用空字符串''会触发类型不兼容问题，建议改用lit(None)来保留列的原始数据类型：

from pyspark.sql.functions import when, lit

col_list = ['age','label','test','length','work','least']
test = df
for i in col_list:
    test = test.withColumn(i, when(df.flag != True, df[i]).otherwise(lit(None)))

为什么原代码失效？ #

原循环里每次都调用df.withColumn(...)，相当于每次都从原始的df开始修改单独一列，之前循环对其他列的修改完全没被保留，最终只有最后一次循环修改的列会被置空，其他列还是原始值。

内容的提问来源于stack exchange，提问作者user27895