Spark Dataset为何将Double类型元组中的null替换为-1.0？

这个问题的核心在于Spark对Scala原生值类型和元组类型的编码器（Encoder）处理逻辑存在差异，咱们一步步拆解来理解：

先复盘你的复现现象 #

你定义了包含Option[Double]的样例类Foo，并创建了一个包含null和1.0的DataFrame：

case class Foo(d: Option[Double])
val df = spark.createDataFrame(Seq(Foo(None), Foo(Some(1.0))))

• 当尝试直接转换成Double类型的Dataset时，直接抛出NullPointerException：

  df.as[Double].collect
  // java.lang.NullPointerException: Null value appeared in non-nullable field
  

  这是因为Scala的Double是不可空的值类型，Spark的编码器期望每个元素都是有效的非空Double，但DataFrame里存在null，所以直接触发异常——错误信息也明确提示了：要使用Option[_]或者可空的包装类型（比如java.lang.Integer代替Int）。

• 但转换成Tuple1[Double]类型时，null被自动替换成了-1.0：

  df.as[Tuple1[Double]].collect
  // res26: Array[(Double,)] = Array((-1.0,), (1.0,))
  

背后的原因 #

Spark的元组编码器在处理值类型字段时，会对null值执行隐式的默认值填充逻辑——对于Double类型，这个填充值是-1.0（这是Spark内部编码器的特定行为，和Scala原生值类型的默认值0.0不同）。

这么设计的原因是：元组是Scala的原生结构，Spark为了适配元组的序列化/反序列化流程，会对其中的不可空值类型字段做容错处理，用预设的默认值替代null，而不是直接抛出异常。

正确的处理方式 #

如果你需要保留null的语义，或者避免这种隐式的默认值替换，有两种常见方案：

1. 使用可空包装类型/Option
   直接用包含Option[Double]的样例类，或者把元组的类型改成Tuple1[Option[Double]]：

   // 用样例类的方式（推荐，可读性更好）
   df.as[Foo].collect
   // res: Array[Foo] = Array(Foo(None), Foo(Some(1.0)))
   
   // 用元组的方式
   df.as[Tuple1[Option[Double]]].collect
   // res: Array[(Option[Double],)] = Array((None,), (Some(1.0),))
   

2. 提前过滤null值
   如果你确定只需要非空的Double值，可以先过滤掉null再转换：

   import org.apache.spark.sql.functions._
   df.filter($"d".isNotNull).as[Double].collect
   // res: Array[Double] = Array(1.0)
   

内容的提问来源于stack exchange，提问作者Yann Moisan