加载含自定义Transformer的PySpark ML Pipeline模型时遇参数缺失错误

问题原因 #

Spark ML的持久化机制加载自定义组件时，会先调用无参构造函数创建实例，再从保存的元数据中恢复参数。你的Confidence类的__init__方法强制要求传入labels参数，导致加载时无法实例化，抛出TypeError。另外代码里遗漏了TypeConverters的导入，这也是潜在问题。

解决方案 #

修改自定义Transformer的构造函数，支持无参初始化，并确保参数能被正确序列化/反序列化：

修改后的完整代码 #

from pyspark.ml import Transformer, PipelineModel
from pyspark.ml.param import Param, Params
from pyspark.ml.util import DefaultParamsReadable, DefaultParamsWritable
from pyspark.sql.functions import lit
from pyspark.ml.feature import StringIndexer
from pyspark.ml.classification import LogisticRegression
# 补上遗漏的TypeConverters导入
from pyspark.ml.param import TypeConverters


class Confidence(Transformer, DefaultParamsReadable, DefaultParamsWritable):
    """
    A custom Transformer which does some cleanup of the output of the model and creates a column a confidence metric based on a T distribution.
    """
    
    labels = Param(
        Params._dummy(),
        "labels",
        "Count of labels for degrees of freedom",
        typeConverter=TypeConverters.toInt)

    # 修改构造函数，支持无参初始化
    def __init__(self, labels: int = None):
        super(Confidence, self).__init__()
        # 如果传入labels参数，就设置默认值；否则留待加载时从元数据读取
        if labels is not None:
            self._setDefault(labels=labels)
        
    def getLabels(self):
        return self.getOrDefault(self.labels)

    def setLabels(self, value):
        self._set(labels=value)
        return self  # 链式调用支持

    def _transform(self, df):
        return df.withColumn("labelCount", lit(self.getLabels()))

关键改动说明 #

1. 构造函数支持无参：将labels参数设为可选（默认None），让Spark加载时能创建空实例。
2. 补全TypeConverters导入：原代码中使用了TypeConverters.toInt但未导入，会导致运行时错误。
3. 链式调用支持：setLabels方法返回self，符合Spark ML组件的设计规范。

验证步骤 #

1. 使用修改后的Confidence类重新训练并保存Pipeline模型。
2. 在新的Spark会话中加载模型：

model_loaded = PipelineModel.load(basePath + "/model")

此时不会再出现TypeError，参数会从保存的元数据中自动恢复。

内容的提问来源于stack exchange，提问作者gradientdescender