使用joblib保存含两个XGBDistribution实例的自定义模型时触发PicklingError

问题原因 #

这个PicklingError本质是Python pickle机制对类对象的身份校验导致的：当你同时创建两个XGBDistribution实例并序列化时，xgboost-distribution内部的Predictions类可能因为动态生成、模块导入路径不一致，或者类对象被动态修改，导致两个实例持有的Predictions类引用被pickle判定为“不同对象”，从而抛出错误。单独保存一个实例时，不存在多个引用冲突，所以能正常序列化。

你的代码逻辑本身没有疏漏——问题大概率出在xgboost-distribution包的内部实现上，比如该库在初始化多个模型实例时，没有保证Predictions类的全局唯一性。

可行解决方案 #

1. 换用cloudpickle序列化 #

cloudpickle比标准pickle/joblib支持更多复杂的对象序列化场景，能解决这类类引用不一致的问题：

import cloudpickle

# 保存
with open('xgboost_model.pkl', 'wb') as f:
    cloudpickle.dump(xgboost, f)

# 加载
with open('xgboost_model.pkl', 'rb') as f:
    model = cloudpickle.load(f)

2. 拆分模型单独保存 #

避免序列化整个包含两个模型的类，分别保存两个子模型：

# 保存
joblib.dump(xgboost.cost_predictor, 'cost_predictor.jpkl')
joblib.dump(xgboost.time_predictor, 'time_predictor.jpkl')

# 加载时重新组装
class XGBTransportEstimator:
    def __init__(self):
        self.cost_predictor = joblib.load('cost_predictor.jpkl')
        self.time_predictor = joblib.load('time_predictor.jpkl')
    # 其余方法保持不变

3. 升级xgboost-distribution版本 #

检查当前库版本，如果是旧版本，尝试升级到最新版——这类序列化bug通常会在后续版本中被修复：

pip install --upgrade xgboost-distribution

4. 临时Hack（不推荐） #

如果上述方法都无效，可以手动强制统一Predictions类的引用，在保存前执行：

from xgboost_distribution.distributions.base import Predictions

# 强制两个模型的Predictions类引用一致
xgboost.cost_predictor.predictor._distribution.predictions_cls = Predictions
xgboost.time_predictor.predictor._distribution.predictions_cls = Predictions

# 再保存
joblib.dump(xgboost, 'xgboost_model.jpkl')

内容的提问来源于stack exchange，提问作者CyperStone