Spark中用CASE WHEN空值校验保护UDF避免类型错误为何失效

报错根本原因 #

你遇到的问题核心是Spark SQL 优化器不会严格保障 CASE WHEN 的分支执行顺序，会提前计算分支内的 UDF 表达式，分两种场景对应你遇到的两种表现：

1. 你给出的简化 PySpark UDF 示例在 2.4、3.x 版本均报错，是因为 Spark 默认开启了公共子表达式消除（Common Subexpression Elimination, CSE）优化。优化器会将 CASE WHEN 分支中的rel_length_py(str_col_l, str_col_r)计算逻辑提前到 CASE WHEN 条件判断之前执行，相当于所有行都会先调用 UDF 再做分支判断，因此 null 值会直接传入 UDF 触发NoneType相关报错，没有被 CASE WHEN 拦截。
2. 你生产环境的 Scala UDF 场景出现 2.4.3 正常、3.1.2 报错的版本差异，是因为 Spark 3.x 对 UDF 执行逻辑做了优化调整，新增了分支扁平化、部分 UDF 向量化执行的规则，打破了旧版本中 CASE WHEN 原有的分支执行顺序，导致 UDF 被提前传入 null 执行。

可行解决方案 #

• 最推荐的方案：在 UDF 内部自行处理 null 值边界，不需要依赖上层 SQL 的分支逻辑保护，兼容所有版本，改动量极小。比如你提供的示例可以修改 UDF 为：

def rel_length(str1, str2):   
    if str1 is None or str2 is None:
        return -1.0
    return len(str1)/len(str2)

• 临时验证方案：关闭对应版本的相关优化开关，比如关闭公共子表达式消除可以设置配置项spark.sql.optimizer.commonSubexpressionElimination.enabled=false，但该配置会降低整体 SQL 执行效率，不建议生产环境长期使用。
• 逻辑规避方案：提前拆分执行逻辑，先过滤出所有参数不为 null 的行单独计算 UDF，再和其余行做 union 回填默认值，完全避免 UDF 接触到 null 参数。

内容的提问来源于stack exchange，提问作者RobinL