PySpark中使用UDF时when条件失效报错问题咨询

先重现一下你遇到的问题场景，假设你写的UDF代码大概是这样的：

from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

# 未处理null的自定义UDF
def to_upper(s):
    return s.upper()

upper_udf = udf(to_upper, StringType())
# 执行时会报错
df.withColumn("upper_col", upper_udf(df["col"])).show()

运行这段代码时，你会遇到类似AttributeError: 'NoneType' object has no attribute 'upper'的错误，而用Spark内置的upper()函数却能正常运行：

from pyspark.sql.functions import upper
# 正常运行
df.withColumn("upper_col", upper(df["col"])).show()

为什么会报错？ #

核心原因在于自定义UDF不会自动处理Null值：

• 当DataFrame里的col字段为null时，UDF会把None传入你的to_upper函数，而None（Python的Null类型）没有upper()方法，直接调用就会抛出属性错误。
• 反观Spark的内置函数（比如upper()），Spark在底层已经为这些函数做了Null值处理逻辑：当输入为Null时，函数会直接返回Null，不会执行后续的字符串转换操作，自然不会报错。

解决办法 #

方法1：在UDF中手动处理Null值 #

修改你的自定义函数，先判断输入是否为None，再执行转换：

def to_upper(s):
    # 先判断是否为null，是则返回null，否则转大写
    return s.upper() if s is not None else None

upper_udf = udf(to_upper, StringType())
df.withColumn("upper_col", upper_udf(df["col"])).show()

运行后就能得到正确结果：

+----+---------+
| col|upper_col|
+----+---------+
| foo|      FOO|
| 123|      123|
|null|     null|
| bar|      BAR|
+----+---------+

方法2：优先使用Spark内置函数 #

这是更推荐的方案！Spark内置函数不仅能自动处理Null值，还经过了Spark的性能优化（比如支持向量化执行、避免Python-JVM之间的序列化开销），代码也更简洁：

from pyspark.sql.functions import upper
df.withColumn("upper_col", upper(df["col"])).show()

同样能得到正确的输出，而且性能比自定义UDF好很多，尤其是处理大规模数据的时候。

内容的提问来源于stack exchange，提问作者pault