SparkXGBoost模型保存后目录为空，加载时报RDD为空错误

• 验证模型训练状态
  执行model_1.getBooster()，如果返回None，说明模型未真正完成训练（比如训练数据为空、参数配置导致拟合失败）。即使临时预测能运行，也可能是用了默认空模型，需重新检查训练流程和数据有效性。

• 匹配Spark与XGBoost-Spark版本
  版本不兼容会导致模型序列化异常：

  • XGBoost-Spark 1.6.x 对应 Spark 3.0.x+
  • XGBoost-Spark 2.x 对应 Spark 3.2.x+
    建议使用官方发布的兼容版本组合，避免跨大版本混用。

• 保存前触发模型计算
  Spark的惰性求值可能导致模型参数未实际生成，保存前先执行一次model_1.transform(your_training_data)，强制触发模型的计算与参数固化，再执行保存操作。

• 检查路径权限
  确认Spark运行用户对目标保存路径（如/tmp/xgboost-pyspark-model）有读写权限，权限不足会导致模型文件无法写入，仅生成_SUCCESS标记。

• 使用对应加载方法

  • 如果模型是Pipeline的一部分，必须用PipelineModel.load(path)加载，而非直接调用SparkXGBClassifier.load()
  • 单独的SparkXGBClassifier模型，确保保存和加载用的是同一类的实例方法

• 排查训练数据有效性
  若训练数据存在极端情况（如所有样本标签一致、特征全为常量），XGBoost不会生成有效模型结构，导致保存无实质内容。需检查数据分布，确保数据具备区分度。

内容的提问来源于stack exchange，提问作者Kornel Skałkowski