如何将PySpark训练的Pipeline模型导入Scala并解决类名不匹配报错

报错根因 #

PySpark保存Pipeline模型时，默认会在元数据中写入Python侧的类名pyspark.ml.pipeline.PipelineModel，而Scala侧加载模型时默认校验的类名为JVM原生类名org.apache.spark.ml.PipelineModel，二者不匹配触发loadMetadata方法的校验逻辑，抛出对应报错。

可行解决方案 #

方案1：直接修改模型元数据（适合临时一次性处理） #

找到你保存的模型根目录下的metadata文件，打开后修改JSON中的class字段值：

• 原值：pyspark.ml.pipeline.PipelineModel
• 修改为：org.apache.spark.ml.PipelineModel
  修改完成后直接调用Scala侧的PipelineModel.load("model.model")即可正常加载。

方案2：PySpark侧保存时直接生成JVM兼容的模型（推荐，适合生产场景） #

PySpark的PipelineModel实例持有对应的JVM对象引用，保存时直接调用JVM对象的save方法，生成的元数据默认就是JVM侧的标准类名，无需后续修改，示例代码：

pipe = Pipeline(stages=[transformer_1, transformer_2, RandomForestClassifier])
pipe_model = pipe.fit(data)
# 不要直接调用pipe_model.save，改为调用_java_obj的save方法
pipe_model._java_obj.save("model.model")

通过上述方式保存的模型，Scala侧可以直接加载，无类名校验错误。

注意事项 #

• 必须保证PySpark训练环境和Scala加载环境的Spark大版本完全一致，避免出现序列化、API不兼容问题
• Pipeline中的所有Stage必须是Spark官方MLlib提供的原生组件，不支持Python自定义的Transformer、UDF等JVM侧无法识别的逻辑
• 如果Pipeline包含自定义Python逻辑，需要先将逻辑替换为Spark原生SQL/ML算子后再训练保存，才能正常跨语言加载

内容的提问来源于stack exchange，提问作者Oussama Jabri