Spark仅对非null非空字符串行执行UDF时when子句失效问题

核心原因：Spark UDF默认不支持条件分支短路 #

Spark对自定义UDF的处理逻辑和内置SQL函数不同：UDF对Spark引擎来说是黑盒，默认执行计划不会对UDF做分支短路优化。也就是说，哪怕你在when中写了过滤null和空字符串的条件，Spark还是会先对所有行执行UDF计算，再用when的条件判断是否保留计算结果，因此null值还是会被传入UDF，触发报错。

另外你当前的判断逻辑还有语法错误：你要筛选「不为null且不为空字符串」的行，应该用与运算符&，而非或运算符|，当前的条件逻辑无法正确过滤无效值。

最优（最快）实现方案 #

按执行效率从高到低排序：

1. 优先使用Spark内置函数替换UDF
   内置函数是Spark原生实现，本身支持短路逻辑，性能比Python UDF高10~100倍，且自动处理null值。比如你的示例需求直接用内置upper函数即可：

from pyspark.sql import functions as F

df.withColumn(
    "Curated Name",
    F.when(
        (F.col("Name").isNotNull()) & (F.trim(F.col("Name")) != ""),
        F.upper(F.col("Name"))
    )
).show()

2. 必须使用UDF的场景

• 低开销方案（适合UDF计算逻辑简单的场景）：将空值判断放到UDF内部，从根源避免空指针错误

def upperCase(s):
    if s is None or s.strip() == "":
        return None
    return s.upper()

upperCaseUDF = F.udf(upperCase, StringType())

df.withColumn("Curated Name", upperCaseUDF(F.col("Name"))).show()

• 高性能方案（适合UDF计算成本极高的场景）：开启Spark 3.0+新增的条件UDF执行开关，开启后UDF只会在when条件满足的行执行，避免无效计算
  先配置Spark参数：

spark.conf.set("spark.sql.udf.evaluateConditional.enabled", "true")

再修正你的判断逻辑（把|改成&）即可正常运行，不会触发空值报错。

内容的提问来源于stack exchange，提问作者John Doe