如何在PySpark中基于同一条件更新两列不同值？

1. Spark 3.3+版本（推荐）：用withColumns一次性添加多列 #

Spark 3.3及以上官方提供了withColumns方法，支持批量定义新增列，刚好解决重复写判断条件的问题。先把共用条件存为变量，后续修改只需调整这一处：

from pyspark.sql.functions import when

# 定义共用判断条件
condition = df.a == 'something'

# 一次性添加b、c两列
df = df.withColumns({
    'b': when(condition, 'x'),
    'c': when(condition, 'y')
})

2. 低版本Spark：用select批量生成新列 #

如果你的Spark版本低于3.3，没有withColumns，可以通过select保留原有列的同时，一次性定义所有新列，同样复用条件变量：

from pyspark.sql.functions import when

condition = df.a == 'something'

df = df.select(
    '*',  # 保留原DataFrame的所有列
    when(condition, 'x').alias('b'),
    when(condition, 'y').alias('c')
)

3. 复杂场景备选：结构体中转拆分 #

如果后续需要扩展更多关联列，可以先构造一个结构体列，再拆分成独立列：

from pyspark.sql.functions import struct, when

condition = df.a == 'something'

df = df.withColumn('temp_struct', struct(
    when(condition, 'x').alias('b'),
    when(condition, 'y').alias('c')
)).select('*', 'temp_struct.*').drop('temp_struct')

补充说明：原生withColumn确实只能单次添加一列，但通过上述方法，不管是用官方新增的批量接口，还是select/结构体中转，都能避免重复编写判断逻辑，提升代码可维护性。

内容的提问来源于stack exchange，提问作者Tamás Godányi