Spark是否不校验UDF/Column类型？Spark2.1中字符串转Double为何返回null？

1. Spark对UDF和Column类型的检查机制 #

Spark并不是完全不做类型检查，只是检查的时机和逻辑跟普通Scala代码有区别：

• 针对UDF：
  编译阶段Spark只会做基础校验——比如你声明的UDF需要接收1个String类型参数，却传给它2个列，或者列的类型声明是Double，这时候编译时就会报错。但UDF内部的处理逻辑对Spark来说是黑盒，它没法在编译阶段预判实际数据是否能被UDF正确处理（比如你UDF里写了转Double的逻辑，但实际数据是乱码字符串）。只有当作业运行到实际处理这条数据时，才会触发UDF内部的代码，如果逻辑不兼容，默认会抛出异常终止任务——当然，如果你在UDF里自己捕获了异常并返回null，那结果就是null。

• 针对Column类型操作：
  编译阶段Spark的Catalyst优化器会做类型校验，比如你尝试把String列和Int列直接做加法，编译时就会抛出类型不匹配的错误。而像cast这类转换操作，运行时如果转换失败（比如非数字字符串转Double），Spark默认会返回null而不是抛出异常，这是为了保证分布式作业的健壮性，避免一条脏数据搞挂整个任务。

2. 为什么String转Double得到null而非ClassCastException？ #

这是Spark SQL类型转换的默认设计——cast操作是安全转换，它会尝试解析目标值，解析失败就返回null，而不是像普通Scala里的asInstanceOf那样直接抛出ClassCastException。

你预期的异常场景通常出现在Scala的强制类型转换中，但Spark的cast本质是数据格式的解析转换，不是类型强制转换，所以行为不同。

如果你的业务要求转换失败必须抛出异常，在Spark 2.1里可以自定义UDF来实现严格校验：

import org.apache.spark.sql.functions.udf

val strictToDouble = udf((s: String) => {
  try {
    s.toDouble
  } catch {
    case e: NumberFormatException => throw new IllegalArgumentException(s"无法将字符串 '$s' 转换为Double类型", e)
  }
})

// 使用示例
val df = Seq("1.2", "abc", "3.4").toDF("str_col")
val resultDF = df.withColumn("double_col", strictToDouble($"str_col"))

这样当遇到无法转换的字符串时，作业会直接抛出异常终止。

内容的提问来源于stack exchange，提问作者Raphael Roth