未定义注册UDF，普通Python函数为何可在Spark中生效？

先看你给出的代码和运行结果：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col
from pyspark.sql.types import StructType, StructField, StringType, IntegerType


def test(val):
   return val + 1


if __name__ == '__main__':
  ss = (SparkSession.builder.appName("Test").getOrCreate())

  data = [("James", 3000),
        ("Michael", 4005),
        ("Robert", 4005)]

  schema = (StructType([
    StructField("firstname", StringType(), True),
    StructField("salary", IntegerType(), True)
   ]))

  df = ss.createDataFrame(data=data, schema=schema)

  df.withColumn("test", test(col("salary"))).show()

运行输出：

+---------+------+----+
|firstname|salary|test|
+---------+------+----+
|    James|  3000|3001|
|  Michael|  4005|4006|
|   Robert|  4005|4006|
+---------+------+----+

一、为什么这个普通Python函数不用注册就能运行？ #

这里的核心是你传给test函数的不是Python原生数值，而是Spark的Column对象（由col("salary")生成）。

你的test函数里的val + 1，本质上是调用了Column对象的加法重载运算符，等价于直接写col("salary") + 1——Spark会把这个操作转换成自身可识别的逻辑表达式，完全在Spark执行引擎内处理，既没有触发Python代码的本地执行，也不需要把函数分发到集群节点。

说白了，这个test函数只是个包装Spark Column表达式的工具函数，不是真正意义上的用户自定义函数（UDF）。Spark压根没把它当成UDF处理，只是解析了函数内部生成的Column操作逻辑。

二、为什么多数教程都要求注册UDF？ #

刚才的场景是特例，只有当函数完全基于Spark Column API的内置操作时才能这么用。遇到以下情况时，必须注册UDF：

• 需要执行真正的Python逻辑：比如要做复杂字符串处理、调用第三方Python库、实现Spark Column不支持的自定义计算。如果把test改成：

  def test(val):
      return str(val) + "_processed"
  

  不注册UDF的话，val是Column对象，str(val)会返回Column<'salary'>这类字符串，结果完全不符合预期。只有注册UDF，Spark才会把Python函数序列化后分发到各个Executor执行。
• 明确指定返回类型：Spark自动推断类型可能出错，注册UDF时可以显式声明返回类型，避免类型误判。
• 在SQL语句中使用：注册后的UDF可以直接写入Spark SQL查询，比如spark.sql("select test(salary) from df")，灵活性更高。

内容的提问来源于stack exchange，提问作者John Black