PySpark基于另一列值填充目标列空值的实现方法

需求场景 #

你有如下结构的DataFrame：

col1 col2
aaa  111
     222
ccc  333

需要实现：当col1为空时，根据col2的值匹配预设的映射字符串填充；col1非空则保留原值。

问题分析 #

你尝试直接用Python字典mapping[F.col('col2')]的方式不可行，因为F.col('col2')是Spark的列对象，不是Python字符串，无法作为字典的键直接取值。

最简实现方案 #

通过F.create_map将Python字典转换为Spark支持的MapType列，即可实现按列值动态映射取值。

步骤1：导入依赖并定义映射字典

from pyspark.sql import functions as F

# 定义col2到填充值的映射
mapping = {"222": "zzz", "444": "fff"}

步骤2：构建Spark映射列

将字典的键值对转换为Spark的字面量（lit），再通过create_map生成映射列：

# 把字典键值对展开为lit列表，用于创建映射列
map_col = F.create_map([F.lit(item) for pair in mapping.items() for item in pair])

步骤3：填充col1空值

用coalesce函数（优先取非空值）或者when条件语句实现填充：

方法1：使用coalesce（更简洁）

df = df.withColumn("col1", F.coalesce(F.col("col1"), map_col[F.col("col2")]))

方法2：使用when（贴合你的原始思路）

df = df.withColumn(
    "col1",
    F.when(F.col("col1").isNull(), map_col[F.col("col2")]).otherwise(F.col("col1"))
)

效果验证 #

处理后的DataFrame结果：

col1 col2
aaa  111
zzz  222
ccc  333

扩展：处理未匹配的col2值 #

如果需要对col2不在映射中的空值行设置默认填充值，可以用coalesce嵌套：

df = df.withColumn(
    "col1",
    F.coalesce(F.col("col1"), map_col[F.col("col2")], F.lit("default_val"))
)

内容的提问来源于stack exchange，提问作者user16317357