能否在Spark SQL中定义以SQL表达式为主体的命名函数？

我希望在Spark SQL中创建/注册一个以Spark SQL表达式为主体的命名函数，该函数与Spark UDF类似，但需满足以下要求：

• 逻辑足够简单，可完全通过Spark SQL函数表达；
• 不使用Scala或Python编写的UDF，避免序列化/反序列化（ser/des）开销；
• 不采用PySpark或Scala Spark的DataFrame转换方式，确保代码可跨Spark环境移植（可作为字符串传入spark.sql()）；
• 希望能像调用UDF一样通过select my_function(x) from tbl的形式便捷调用，为熟悉SQL的分析师提供简化接口，无需关心底层是UDF还是Spark表达式，实现UDF的易用性且无性能开销。

我注意到部分Spark内置函数支持匿名lambda作为参数，例如transform函数：

select 
  transform(
    array(2022, 1950, 1701), 
    y -> (y div 100) + 1
  ) as centuries

执行结果：

+------------+
|   centuries|
+------------+
|[21, 20, 18]|
+------------+

但我不清楚如何使用lambda语法在函数注册表中定义具名函数。我期望能通过纯Spark SQL实现如下功能：

CREATE FUNCTION year_to_century AS y -> y div 100 + 1

-- 假设有表year_tbl：
-- |year |
-- |_____|
-- |2022 |
-- |1950 |
-- |1701 |

select year, year_to_century(year) as century from year_tbl

期望得到结果：

year | century
_____|________
2022 |      21
1950 |      20
1701 |      18

但我不知道CREATE FUNCTION ...语句的正确语法，请问Spark SQL是否支持该功能？

Spark SQL 支持通过纯SQL语句创建基于内置表达式的具名函数，不过语法和你预想的lambda写法略有不同，需要使用CREATE FUNCTION的标准语法明确指定参数、返回类型和表达式主体。

正确的创建语法 #

你需要使用CREATE FUNCTION（或CREATE TEMPORARY FUNCTION用于会话级临时函数），明确声明参数类型和返回类型，用AS后跟Spark SQL表达式：

-- 创建会话级临时函数，仅当前会话有效
CREATE TEMPORARY FUNCTION year_to_century(y INT) 
RETURNS INT 
AS (y DIV 100 + 1);

调用示例 #

创建完成后，就可以像调用内置函数一样使用它：

select year, year_to_century(year) as century from year_tbl;

执行后会得到你期望的结果：

year | century
-----|--------
2022 | 21
1950 | 20
1701 | 18

关键说明 #

1. 无UDF性能损耗：这种方式本质是将Spark SQL表达式封装为具名函数，不会引入自定义UDF的序列化/反序列化开销，完全复用Spark内置表达式的优化逻辑。
2. 跨环境移植性：整个定义和调用都是纯SQL语句，可以直接传入spark.sql()执行，无需依赖Scala/PySpark代码，符合跨环境移植要求。
3. 临时与永久函数选择：
   • CREATE TEMPORARY FUNCTION创建的函数仅在当前Spark会话有效，退出会话后自动失效；
   • 如果需要创建跨会话可用的永久函数，需依赖Hive Metastore并指定存储位置：

     CREATE FUNCTION year_to_century(y INT) 
     RETURNS INT 
     AS (y DIV 100 + 1)
     USING 'hive';
     

注意事项 #

• 必须明确指定参数类型和返回类型，Spark无法自动推断；
• 函数主体只能使用Spark SQL支持的内置表达式和函数，不能包含自定义UDF逻辑；
• 该方式创建的函数与内置函数性能一致，无额外开销。

内容的提问来源于stack exchange，提问作者Raisin Bran Dan