如何在Apache Spark的expr函数中使用自定义UDF？调用时报错“Undefined function: power3UDF”

你遇到的报错核心原因是自定义UDF没有注册为Spark的临时函数：当使用expr()解析SQL表达式时，Spark会在内置函数、已注册的临时/持久化函数列表中查找power3UDF，但你仅定义了一个UDF变量，并未将它注册到Spark的函数注册表中，所以会提示找不到该函数。

下面给你两种可行的解决方法：

方法一：注册临时函数后在expr()中调用 #

通过spark.udf.register()将UDF注册为Spark会话级别的临时函数，这样SQL风格的表达式就能识别它了：

def power3(input: Int) = input * input * input
import org.apache.spark.sql.functions.udf

// 方式1：注册同时保留UDF变量（方便后续DataFrame API直接调用）
val power3UDF = udf(power3(_:Int):Int).withName("power3UDF")
spark.udf.register("power3UDF", power3UDF)

// 方式2：直接注册（无需保留UDF变量，适合仅用SQL表达式调用的场景）
// spark.udf.register("power3UDF", (input: Int) => input * input * input)

numDF
 .select(expr("Number"), expr("power3UDF(Number) AS POWER3"))
 .show()

注册后的临时函数仅在当前Spark会话生效，会话结束后自动失效。

方法二：直接在DataFrame API中使用UDF变量（无需注册） #

如果不需要依赖SQL风格的expr()，可以直接在select中调用UDF变量，这种方式无需注册函数：

def power3(input: Int) = input * input * input
import org.apache.spark.sql.functions.{udf, col}
val power3UDF = udf(power3(_:Int):Int).withName("power3UDF")

numDF
 .select(col("Number"), power3UDF(col("Number")).alias("POWER3"))
 .show()

注意事项 #

• 确保UDF的输入类型和DataFrame对应列的类型完全匹配（比如这里Number列必须是Int类型，否则会抛出类型不匹配异常）。
• 如果需要在多个场景复用UDF，或者要在spark.sql()中直接写SQL语句调用，推荐用方法一注册临时函数；如果只是在当前DataFrame链式调用中使用，方法二更简洁高效。

内容的提问来源于stack exchange，提问作者Mandroid