PySpark中如何用多when条件更新列值且避免结果覆盖？

现有包含DATE、Flag_values、salary三列的DataFrame，尝试分两次通过withColumn更新Flag_values列：

1. 第一次将DATE < '2019-08-01'的行设为'GIVEHIKE'，其余设为空字符串
2. 第二次将Flag_values为空且DATE < '2019-12-15'的行设为'GIVE BONUS ONLY'，其余设为空字符串

但两次执行后，第二次操作会覆盖第一次的结果，导致DATE < '2019-08-01'的行Flag_values被置为空，无法同时保留两个条件的匹配数据。即使尝试用非空占位符替代空值，依然会出现覆盖问题。

方案1：第二次更新时保留原列值 #

问题核心是第二次withColumn的otherwise直接设置了固定值（空或JAVA），而非保留已有的Flag_values值。修改代码如下：

import pyspark.sql.functions as F

# 第一次更新：匹配DATE早于2019-08-01的行
df = df.withColumn('Flag_values', F.when(F.col('DATE') < '2019-08-01', 'GIVEHIKE').otherwise(''))

# 第二次更新：仅更新未匹配第一次条件且符合日期范围的行，其余保留原列值
new_column = F.when((F.col("Flag_values") == '') & (F.col("DATE") < '2019-12-15'), 'GIVE BONUS ONLY').otherwise(F.col("Flag_values"))
df = df.withColumn("Flag_values", new_column)

这样，第一次设置的GIVEHIKE会在第二次更新时被完整保留，只有符合条件的空值行才会被更新为GIVE BONUS ONLY。

方案2：合并所有条件为链式when（更高效） #

将多个条件合并到一次withColumn操作中，按优先级依次判断，避免多次列替换，性能更优：

import pyspark.sql.functions as F

df = df.withColumn(
    'Flag_values',
    F.when(F.col('DATE') < '2019-08-01', 'GIVEHIKE')
      .when((F.col('DATE') >= '2019-08-01') & (F.col('DATE') < '2019-12-15'), 'GIVE BONUS ONLY')
      .otherwise('')  # 不符合任何条件的行设为空，若需保留原始Flag_values值可改为F.col('Flag_values')
)

逻辑说明：

• 优先匹配DATE < '2019-08-01'的行，标记为GIVEHIKE
• 再匹配DATE在2019-08-01至2019-12-15区间的行，标记为GIVE BONUS ONLY
• 其余行按需求设置默认值（空或原始列值）

关键注意点 #

• 不要在otherwise中设置固定值（如空、JAVA），除非确实需要覆盖所有未匹配行的原有值
• 链式when会按顺序判断条件，一旦匹配就停止后续判断，适合有优先级的多条件场景
• 多次更新同一列时，后续操作的otherwise必须引用原列值，才能保留之前的更新结果

内容的提问来源于stack exchange，提问作者BigData Lover