Spark DataFrame中将null值替换为N/A代码不生效问题排查

核心逻辑错误 #

Spark中null属于特殊的缺失值标识，使用=== null对列进行判空时，所有比较结果都会返回null而非true，因此when的触发条件永远不会生效，这是两段代码都达不到预期的核心原因。

两段代码的各自问题 #

• 第一段代码问题：
  1. 判空逻辑错误，$"series_name" === null无法正确识别空值
  2. 存在两处语法错误：末尾缺少闭合括号，otherwise中的$series_name缺少引号，正确写法应为$"series_name"
• 第二段代码问题：
  1. 同样存在判空逻辑错误，col("series_name") === null无法识别空值
  2. 语法不完整：缺少otherwise分支处理非空值的情况，同时末尾缺少闭合括号，直接执行会抛出语法错误。

方案1：使用when + isNull 显式判断 #

import org.apache.spark.sql.functions.when

val processedDf = df.withColumn("series_name", when($"series_name".isNull, "n/a").otherwise($"series_name"))

方案2：使用Spark内置na.fill方法（更简洁） #

Spark提供了专门的空值替换API，无需手动写判断逻辑：

// 仅替换series_name列的空值为n/a
val processedDf = df.na.fill("n/a", Seq("series_name"))

// 如果需要替换所有字符串类型列的空值，可简化为
val processedDf = df.na.fill("n/a")

内容的提问来源于stack exchange，提问作者Alex K