如何使用PySpark将已拟合Pipeline模型导出为JSON并加载还原

你可以直接通过PySpark原生API实现模型和JSON的互转，不需要额外开发序列化逻辑，具体实现如下：

先修正原代码的两处问题 #

• data.randomSplit([0.7, 0.3])末尾多了一个多余的英文句号，会触发语法错误
• reduced_numeric_cols列表中"total_sales_calls"字段重复录入，会导致VectorAssembler报重复列异常

修正后的基础训练代码：

from pyspark.ml import Pipeline, PipelineModel
from pyspark.ml.classification import GBTClassifier
from pyspark.ml.feature import StringIndexer, VectorAssembler

data = (spark.read.option("delimiter", ",")
  .option("inferSchema", "true") 
  .option("header", "true")
  .csv("./data/data.csv")).drop("id")

reduced_numeric_cols = ["account_length", "number_vmail_messages", "total_day_calls",
                        "total_day_charge", "total_eve_calls", "total_eve_charge",
                        "total_sales_calls", "total_sales_charge"]

label_indexer = StringIndexer(inputCol = 'quantity', outputCol = 'label')
plan_indexer = StringIndexer(inputCol = 'sales_plan', outputCol = 'sales_plan_indexed')

assembler = VectorAssembler(
    inputCols = ['sales_plan_indexed'] + reduced_numeric_cols,
    outputCol = 'features')

classifier = GBTClassifier(labelCol = 'label', featuresCol = 'features')

pipeline = Pipeline(stages=[plan_indexer, label_indexer, assembler, classifier])

(train, test) = data.randomSplit([0.7, 0.3])
model = pipeline.fit(train)

导出拟合模型为JSON字符串 #

PySpark的PipelineModel原生提供toJSON()方法，导出的JSON会完整包含所有转换器拟合得到的映射规则、模型训练后的权重、结构等全部信息，可直接存入数据库文本字段，也可写入本地文件：

# 生成模型JSON字符串
model_json = model.toJSON()

# 测试写入本地文件
with open("./fitted_pipeline_model.json", "w", encoding="utf-8") as f:
    f.write(model_json)

从JSON还原可用的拟合模型 #

不管是从数据库读取到的JSON字符串，还是从本地文件加载的JSON内容，都可以通过PipelineModel.fromJSON()直接还原为可直接用于预测的模型对象，不需要重新训练：

# 从本地文件读取JSON示例
with open("./fitted_pipeline_model.json", "r", encoding="utf-8") as f:
    loaded_json = f.read()

# 从数据库读取的话直接把查询返回的JSON字符串传入即可
loaded_model = PipelineModel.fromJSON(loaded_json)

# 验证模型可用性，直接执行预测
pred_result = loaded_model.transform(test)
pred_result.show()

使用注意事项 #

• 导出和加载模型的PySpark大版本需要保持一致，跨大版本（如Spark2.x导出、Spark3.x加载）可能出现序列化兼容问题
• 不要手动修改导出的JSON内容，容易破坏序列化结构导致加载失败
• 该方法导出的JSON是模型全量序列化结果，不需要依赖原始训练数据即可完成还原和预测

内容的提问来源于stack exchange，提问作者Naimish vora