PySpark无法加载PipelineModel，测试环境正常生产环境报错

报错根因 #

报错明确提示期望类名是org.apache.spark.ml.PipelineModel，实际找到的是pyspark.ml.pipeline.PipelineModel，本质是模型训练保存端和生产加载端的Spark序列化逻辑不匹配，绝大多数情况属于两类原因：

1. 测试训练环境和生产运行环境的Spark大版本不一致
2. 模型是PySpark侧训练保存的，生产端用了Scala/Java侧的API加载，或是混用了不同语言的序列化逻辑

修复方案 #

• 先对齐测试、生产环境的Spark版本，确保训练模型用的Spark版本和生产加载用的版本完全一致，跨大版本（比如2.x训练3.x加载）大概率会出现序列化不兼容问题
• 检查加载代码，PySpark训练保存的模型必须用对应版本的pyspark.ml.pipeline.PipelineModel.load()接口加载，不要混用其他语言的加载API
• 如果需要跨语言加载模型，训练时不要自定义PySpark侧的Transformer、Estimator，所有组件都用Spark官方原生的跨语言兼容API，保存时走Spark MLlib通用持久化逻辑
• 应急修复：如果暂时无法对齐生产环境版本，可以在和训练环境同版本的Spark实例中重新加载原模型，再用save()方法重新导出一遍，再拿到生产环境尝试加载

快速排查方法 #

打开模型保存目录下的metadata/part-00000文件，查看class字段值：

• 如果值为pyspark.ml.pipeline.PipelineModel，说明是纯PySpark序列化的模型，仅支持同版本PySpark加载
• 如果值为org.apache.spark.ml.PipelineModel，说明是通用序列化格式，支持多语言同版本加载

内容的提问来源于stack exchange，提问作者trustme