SparkRuntimeException(UDF_USER_CODE_ERROR)排查：NoneType与float运算错误

错误核心原因 #

UDF mycatalog.mydatabase.product_difference_ratio_on_demand_feature 执行时遇到了Null值（NoneType）与float类型做减法运算——测试阶段使用的数据集无Null值所以运行正常，而训练数据集存在未处理的Null值，触发类型不匹配报错。

具体解决步骤 #

1. 定位训练数据中的Null值 #

先排查UDF依赖的输入列是否存在空值，确认空值分布情况：

from pyspark.sql import functions as F

# 替换input_cols为UDF实际用到的输入列名
input_cols = ["target_col1", "target_col2"]
training_set.select([F.count(F.when(F.col(col).isNull(), col)).alias(col) for col in input_cols]).show()

2. 在UDF内部添加Null值处理逻辑 #

修改UDF代码，提前判断输入是否为Null，根据业务规则返回合理默认值或标记：

from pyspark.sql.functions import udf
from pyspark.sql.types import FloatType

def product_difference_ratio(val1, val2):
    # 拦截任意输入为Null的情况
    if val1 is None or val2 is None:
        return 0.0  # 可根据业务需求调整为None、列均值或其他合理值
    # 替换为UDF原有的运算逻辑
    return (val1 - val2) / val2

# 重新注册UDF
spark.udf.register("mycatalog.mydatabase.product_difference_ratio_on_demand_feature", product_difference_ratio, FloatType())

3. 提前清洗训练数据 #

在调用UDF前，通过填充或删除操作预处理Null值：

• 填充Null值（推荐，避免数据损失）：

# 用0.0填充指定列的Null，也可使用列均值、中位数等统计值填充
training_clean = training_set.fillna(0.0, subset=input_cols)

• 删除含Null的行（仅在数据量充足时使用）：

training_clean = training_set.dropna(subset=input_cols)

4. 验证测试与训练数据的差异 #

对比两者的Null值分布，确认测试数据是否真的无Null值：

# 检查训练数据的Null分布
training_set.select([F.col(col).isNull().alias(f"{col}_null") for col in input_cols]).groupBy(*[f"{col}_null" for col in input_cols]).count().show()

# 检查测试数据的Null分布
test_set.select([F.col(col).isNull().alias(f"{col}_null") for col in input_cols]).groupBy(*[f"{col}_null" for col in input_cols]).count().show()

内容的提问来源于stack exchange，提问作者Climbs_lika_Spyder