如何通过SQL语句注册Spark UDF（导入Jar包方式）

你已经通过Scala代码成功注册了timesTwo UDF：

val timesTwoUDF = spark.udf.register("timesTwo", (x: Int) => x * 2)
spark.sql("SELECT timesTwo(1)").show

现在需要通过SQL语句先导入Jar包，再注册临时函数，但发现CREATE TEMPORARY FUNCTION默认不支持非Hive UDF，以下是可行的实现方法：

方法一：将UDF适配为Hive UDF接口 #

Spark的CREATE TEMPORARY FUNCTION仅兼容实现Hive UDF规范的类，因此可以将你的Scala UDF重写为继承org.apache.hadoop.hive.ql.exec.UDF的类，实现evaluate方法：

import org.apache.hadoop.hive.ql.exec.UDF

// 包名根据你的项目结构调整
package com.your.udf.package

class TimesTwoUDF extends UDF {
  def evaluate(input: Int): Int = input * 2
}

将上述代码打包为Jar后，即可通过SQL完成加载与注册：

-- 加载Jar包
ADD JAR 's3://path/to/my/udf.jar';
-- 注册临时函数，指定类的全限定名
CREATE TEMPORARY FUNCTION timesTwo AS 'com.your.udf.package.TimesTwoUDF';
-- 测试函数
SELECT timesTwo(1);

方法二：预加载Jar后通过代码注册（半SQL流程） #

如果无法修改UDF的实现，可以在启动Spark应用时通过--jars参数预先加载目标Jar包：

spark-submit --jars s3://path/to/my/udf.jar your-app.jar

之后在Spark会话中，仍可通过Scala代码注册UDF，随后在SQL中直接使用：

// 从Jar中加载UDF逻辑（假设你的UDF是一个对象或类方法）
import com.your.udf.package.TimesTwo._
spark.udf.register("timesTwo", (x: Int) => x * 2)
spark.sql("SELECT timesTwo(1)").show

方法三：使用Spark 3.0+的持久化函数（可选） #

如果你的环境是Spark 3.0及以上版本，可以使用CREATE FUNCTION（非临时）将函数注册到元数据中，不过该方法需要元数据支持（如Hive Metastore），且函数会持久化存在：

ADD JAR 's3://path/to/my/udf.jar';
CREATE FUNCTION timesTwo AS 'com.your.udf.package.TimesTwoUDF';

内容的提问来源于stack exchange，提问作者Joan