Azure Databricks中PySpark UDF返回错误值问题排查

代码输出不符合预期，核心是对PySpark UDF的使用逻辑存在认知偏差，叠加一处字符串大小写问题：

• PySpark UDF是面向分布式数据集的列运算组件，设计用途是实现Spark DataFrame的逐行转换逻辑，不能作为普通Python函数直接传入字面量参数调用。你直接传入字符串"test"调用注册后的UDF时，得到的是一个未执行的Column表达式对象，而非实际计算结果，因此打印输出为Column<'TestFunction(test)'>。PySpark是懒执行框架，所有列转换操作都不会立刻运行，必须通过行动算子触发才会执行实际计算。
• 你定义的基础函数TestFunction中拼接的前缀是小写开头的"this is a "，即便计算逻辑正常执行，输出也和预期首字母大写的"This is a test"不匹配。

根据实际使用场景二选一即可：

方案1：仅需普通Python函数调用，不需要Spark分布式计算能力 #

无需注册UDF，直接调用原生Python函数即可，修正大小写问题后代码如下：

def TestFunction(myVal):
  # 修正前缀首字母为大写，匹配预期输出
  return "This is a " + myVal

s = TestFunction("test")
print(s)

执行后直接输出目标结果：

This is a test

方案2：确实需要使用UDF实现Spark DataFrame列转换 #

遵循Spark的执行范式，先创建DataFrame，将UDF作用到对应列后，调用行动算子触发计算拿结果，示例代码：

from pyspark.sql import functions as F
from pyspark.sql.types import StringType

def TestFunction(myVal):
  return "This is a " + myVal

new_name = F.udf(TestFunction, StringType())

# 构造测试DataFrame
df = spark.createDataFrame([("test",)], schema=["input_val"])
# 应用UDF生成结果列
result_df = df.withColumn("output_val", new_name(F.col("input_val")))
# 触发计算提取结果
s = result_df.collect()[0]["output_val"]
print(s)

执行后同样可以得到预期输出。

补充说明：所有返回Column类型的PySpark操作（包括内置函数、UDF、列运算表达式）都只是逻辑执行计划的组成部分，直接打印只会显示表达式结构，必须调用show()、collect()、write这类行动操作才会真正运行计算逻辑。

内容的提问来源于stack exchange，提问作者nam