PySpark加载Spark MLlib模型时如何指定Parquet全限定类名

核心结论 #

RandomForestClassificationModel的load方法为封装好的内部实现，没有直接暴露指定Parquet数据源全限定类名的参数，无法复用读CSV时指定format的方案，可通过以下两种方法解决冲突。 #

解决方案1：全局指定默认Parquet数据源实现（推荐，改造成本最低） #

Spark 3.x同时支持DataSource V1和V2两个版本的Parquet实现，你可以在初始化SparkSession时通过配置项全局指定使用的Parquet实现，不需要修改原有模型加载代码，示例如下：

from pyspark.sql import SparkSession
from pyspark.ml.classification import RandomForestClassificationModel

# 初始化SparkSession时添加Parquet实现配置
spark = SparkSession.builder \
    .appName("load_rf_model") \
    # 指定使用V1版本Parquet实现，适配MLlib模型存储格式
    .config("spark.sql.sources.default.parquet", "org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat") \
    .getOrCreate()

# 原有模型加载代码无需改动
model = RandomForestClassificationModel.load('file:///home/nuser/trained_model')

如果需要使用V2版本Parquet实现，只需将配置值替换为org.apache.spark.sql.execution.datasources.v2.parquet.ParquetDataSourceV2即可。 #

解决方案2：移除冲突的重复依赖 #

如果是classpath中存在重复的Spark相关jar包导致的冲突，按以下步骤排查处理：

• 检查spark-submit提交命令，去掉额外传入的spark-sql、spark-mllib等Spark内置依赖包，集群本身已经提供这些依赖，无需额外携带
• 如果你是自行打包依赖，将所有Spark相关依赖的scope设置为provided，避免打包进最终的依赖文件
• 检查集群Spark安装路径下的jars目录，删除重复版本的parquet、spark-sql相关jar包

内容的提问来源于stack exchange，提问作者Rishikesh Ajit