Spark UDF调用SQL时抛出NullPointerException问题求助

定义并注册了Spark UDF，通过SQL调用时抛出SparkException，根源为NullPointerException。

UDF定义与注册代码 #

import org.apache.spark.sql.functions.udf

def udf_temp_emp (_type: String, _name: String): Int  = {
   val statement = s"select key from employee where empName = $_name"
   val key = spark.sql(statement).collect()(0).getInt(0)
   return key
}

spark.udf.register("udf_temp_emp", udf_temp_emp(_,_))

SQL调用语句 #

select 
  udf_temp_emp(emp.type, emp.name), 
  emp.id 
from 
   empMaster

异常信息 #

SparkException: [FAILED_EXECUTE_UDF] Failed to execute user defined
function
($read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$Lambda$13841/67716274:
(string, string) => string). Caused by: NullPointerException:

原因分析 #

• 空值处理缺失：当emp.name为null时，拼接后的SQL语句会变成select key from employee where empName = null，SQL中=无法匹配null，查询结果为空，此时collect()(0)会直接抛出NullPointerException。
• SQL语法与注入风险：如果_name包含单引号等特殊字符，拼接后的SQL会直接语法错误；同时这种字符串拼接方式存在SQL注入风险。
• UDF设计反模式：UDF在Executor端执行，内部调用spark.sql()会在Executor尝试创建Session，不仅性能极低（每条记录触发一次查询），还可能因资源/配置问题引发异常，collect()会将数据拉到Driver，进一步放大性能问题。

解决办法 #

方案1：改用Join操作（推荐，性能最优）

直接通过Spark的Join替代UDF内的查询，这是Spark处理关联数据的标准方式：

SELECT e.key, emp.id
FROM empMaster emp
LEFT JOIN employee e ON e.empName = emp.name

或使用DataFrame API：

empMaster.join(employee, empMaster("name") === employee("empName"), "left")
  .select(employee("key"), empMaster("id"))

方案2：修复UDF（不推荐，仅用于特殊场景）

如果必须使用UDF，需添加空值处理，改用参数化查询避免语法错误与注入风险：

import org.apache.spark.sql.functions.udf

def udf_temp_emp(_type: String, _name: String): Option[Int] = {
  // 先处理_name为空的情况
  Option(_name).flatMap { name =>
    // 使用filter替代字符串拼接，避免语法错误与注入
    val resultDF = employee.filter($"empName" === name).select($"key")
    // 用headOption避免空结果时的索引越界
    resultDF.headOption().map(_.getInt(0))
  }
}

// 注册返回Option[Int]的UDF，空值时返回null
spark.udf.register("udf_temp_emp", udf(udf_temp_emp(_,_)))

注意：即使修复，UDF内查询依然是反模式，性能远不如Join，仅在极端特殊场景下使用。

内容的提问来源于stack exchange，提问作者ConfusedDeveloper