PySpark中na.fill()无法替换全部NULL值的问题求助

问题原因 #

Spark的na.fill()方法会严格匹配替换值的类型与列的数据类型，仅对类型兼容的列执行NULL替换：

• Name列是字符串类型，与替换值"Missing Values"类型一致，因此该列的NULL会被正常替换。
• Age、Experience、Salary是整数类型，字符串无法直接存入整数列，Spark会自动跳过这些不兼容的列，所以它们的NULL不会被处理。
• 同理，使用0作为替换值时，仅匹配整数类型列，因此只有那三列的NULL被替换。

解决方法 #

要实现所有列的NULL都替换为"Missing Values"，需要先将整数类型列转换为字符串类型，再执行填充操作，以下是两种可行方案：

方案1：批量转换类型后全局填充 #

先把所有数值类型列转为字符串类型，再统一填充NULL：

# 转换整数列为字符串类型
df_converted = df_pyspark \
    .withColumn("Age", df_pyspark["Age"].cast("string")) \
    .withColumn("Experience", df_pyspark["Experience"].cast("string")) \
    .withColumn("Salary", df_pyspark["Salary"].cast("string"))

# 全局填充所有NULL为"Missing Values"
df_converted.na.fill("Missing Values").show()

方案2：逐列处理（灵活控制转换逻辑） #

使用when/otherwise函数逐个处理每一列，同时完成类型转换与NULL替换：

from pyspark.sql.functions import when, col

df_result = df_pyspark.select(
    when(col("Name").isNull(), "Missing Values").otherwise(col("Name")).alias("Name"),
    when(col("Age").isNull(), "Missing Values").otherwise(col("Age").cast("string")).alias("Age"),
    when(col("Experience").isNull(), "Missing Values").otherwise(col("Experience").cast("string")).alias("Experience"),
    when(col("Salary").isNull(), "Missing Values").otherwise(col("Salary").cast("string")).alias("Salary")
)

df_result.show()

内容的提问来源于stack exchange，提问作者Himanshu Rawat