Spark 3中Vector UDF与常规UDF的区别是什么？

API 探路者

2026-7-30

Spark 3中Vectorized UDF与常规UDF的区别

数据处理粒度不同
常规UDF是逐行处理，每一条数据都会触发一次函数调用，数据量较大时会产生大量函数调用开销；而Vectorized UDF是批量处理整列向量数据，一次调用即可处理一批行数据，大幅减少调用次数。
性能差异显著
尤其是Python环境下，常规UDF需要在JVM与Python进程之间逐行进行数据序列化/反序列化，开销极大；Vectorized UDF基于Apache Arrow格式传递批量数据，避免了频繁的跨进程数据交互，性能能提升数倍甚至更高。Scala环境下的Vectorized UDF也通过ColumnarBatch减少了对象创建和GC开销。
依赖与配置要求不同
Vectorized UDF依赖Apache Arrow格式实现批量数据传递，需要在Spark配置中启用Arrow（比如设置spark.sql.execution.arrow.pyspark.enabled=true）；常规UDF无此依赖，直接处理Spark原生数据类型，无需额外配置。
函数定义方式不同
- 常规UDF：用udf()装饰器或API定义，函数接收单个元素作为输入，返回单个结果。
  示例（Python）：
```
from pyspark.sql.functions import udf
@udf("integer")
def add_one(x):
    return x + 1 if x is not None else None
```
- Vectorized UDF：Python中用pandas_udf()装饰器，函数接收Pandas Series/DataFrame作为输入，返回对应的Series/DataFrame；Scala中基于ColumnarBatch实现。
  示例（Python）：
```
from pyspark.sql.functions import pandas_udf
@pandas_udf("integer")
def add_one_vec(x):
    return x + 1
```
适用场景不同
常规UDF适合逻辑简单、数据量较小的逐行处理场景，开发成本低；Vectorized UDF适合需要处理大规模数据的复杂计算场景，比如批量统计、机器学习特征工程等，能最大化利用计算资源。