Scala中Option(null)调用getOrElse异常及Spark Option列表初始化问题

我之前也踩过这个坑！你遇到的核心问题是混淆了Scala原生Option和Spark SQL提供的some()函数的行为差异——前者会把null转换成None，而后者不管输入是不是null，都会直接包装成Some，哪怕是Some(null)，这就导致你调用getOrElse("0")时，因为Some(null)不是None，所以会返回null（打印出来看起来像Some()），而不是你预期的"0"。

问题根源拆解 #

举个直观的例子：

• Scala原生代码里，Option(null: String)会返回None；
• 但在Spark中，如果你写select(some(col("your_col")))，哪怕列值是null，结果也是Some(null)，而不是None。

正确的解决方案 #

方案1：用Spark SQL的when函数生成标准Option列

通过判断列是否为null，手动生成符合预期的Option[String]类型：

import org.apache.spark.sql.functions._
import org.apache.spark.sql.types.StringType

// 模拟你的数据源
val df = spark.createDataFrame(Seq((null: String), "foo", "bar")).toDF("data_col")

// 生成正确的Option[String]列：null对应None，非null对应Some(值)
val optionDF = df.select(
  when(col("data_col").isNotNull, col("data_col"))
    .otherwise(lit(null))
    .cast(StringType)
    .as[Option[String]]
)

// 转成列表后处理
val resultList = optionDF.collect().toList
// 此时resultList是：List(None, Some("foo"), Some("bar"))

// 调用getOrElse就能得到预期结果
val finalResult = resultList.map(_.getOrElse("0"))
// finalResult输出：List("0", "foo", "bar")

方案2：用UDF借助Scala原生Option处理

写一个简单的UDF，用Scala原生的Option逻辑来转换列值：

import org.apache.spark.sql.functions.udf

// 定义UDF：将String转为Scala原生Option[String]
val stringToOption = udf((s: String) => Option(s))

val df = spark.createDataFrame(Seq((null: String), "foo", "bar")).toDF("data_col")

val optionDF = df.select(stringToOption(col("data_col")).as[Option[String]])
val resultList = optionDF.collect().toList
// 同样得到：List(None, Some("foo"), Some("bar"))

val finalResult = resultList.map(_.getOrElse("0"))
// 输出符合预期的结果

额外提醒 #

如果你是手动构造列表时遇到这个问题（比如List(Option(null), Option("test"))），那其实Scala原生的Option(null)会返回None，你看到的Some()大概率是打印时的格式问题，实际是Some(null)——这时候要检查是不是你不小心把null用Some()手动包装了，比如写了Some(null)而不是Option(null)。

内容的提问来源于stack exchange，提问作者sparkonhdfs