PySpark中可直接调用自定义函数时为何仍需注册UDF？

你贴的直接调用普通Python函数的写法根本无法正常完成分布式计算。
很多新手会误以为把Python函数直接塞进select()就能让Spark按行执行逻辑，实际上Spark根本识别不了未注册的普通Python函数：这种写法下，你的func会直接在Driver节点本地立刻执行，传入的参数是dataframe.rowName对应的Column类实例，根本不是每一行的实际数值，运行时要么直接抛类型错误，要么得到完全不符合预期的结果。如果硬要绕开UDF实现逐行计算，你只能把全量数据拉到Driver端本地循环处理，数据量稍大就会直接OOM，完全用不上Spark的分布式计算能力。

• 实现计算逻辑的分布式下发：注册UDF的本质是把你写的自定义逻辑、对应输入输出的类型规则包装成Spark能识别的执行计划节点，Spark会自动把函数逻辑序列化后分发到所有存储对应数据的Executor节点，在数据本地完成计算，不用跨节点拉取数据，真正发挥分布式计算的性能。
• 提前做类型校验减少运行故障：注册UDF时可以明确指定返回值的数据类型，Spark在生成执行计划的阶段就会做类型匹配检查，不会等到任务跑了几个小时、处理了大半数据才因为类型不匹配崩溃。比如你声明UDF返回DoubleType，如果函数逻辑意外返回了字符串、空值格式不对，在任务提交阶段就会抛出异常，大幅降低线上任务的隐性故障概率。
• 支持多场景复用：注册后的UDF除了能在DataFrame API里直接调用，还可以绑定一个名称供Spark SQL直接调用，不管是写PySpark、Scala代码还是写SQL查询的开发者，都可以直接调用同一个UDF逻辑，不用在不同场景下重复写相同的计算代码。
• 适配Spark原生优化机制：按规范注册、明确类型声明的UDF可以被Spark的Catalyst优化器正常纳入执行计划优化流程，列裁剪、谓词下推这些基础优化规则不会因为你用了自定义逻辑就完全失效，相比未注册的黑盒函数，执行效率要高得多。

from pyspark.sql.functions import udf
from pyspark.sql.types import DoubleType

def func(num):
    return num*5.2

# 方式1：注册为供DataFrame API调用的UDF
multiply_calc_udf = udf(func, DoubleType())
dataframe.select(multiply_calc_udf(dataframe.rowName)).show()

# 方式2：注册为供Spark SQL调用的命名UDF
spark.udf.register("multiply_5_2", func, DoubleType())
dataframe.createOrReplaceTempView("tmp_test_tbl")
spark.sql("SELECT multiply_5_2(rowName) FROM tmp_test_tbl").show()

内容的提问来源于stack exchange，提问作者Krushe