使用joblib.load读取磁盘XGBoost模型时触发NoneType相关TypeError
报错触发原因
由于已确认模型文件路径存在,本次报错的核心问题不在文件访问层面,而是出在pickle反序列化解析环节:按序列化文件里记录的类路径查找对应类对象时拿到了None值,无法完成类实例的重建,常见触发场景包括:
- 模型序列化与加载环节的xgboost版本不匹配。pickle/joblib在存储对象时,不会把类的代码本身完整打包,只会记录类的完整导入路径,反序列化时按路径从当前环境导入对应的类。XGBoost在小版本迭代中会调整内部类的导入路径,比如1.3.1版本和前后相邻版本中,
xgboost.sklearn模块下的类引用存在路径变更,如果存储模型时用的xgboost版本和当前加载环境的1.3.1版本存在差异,就会出现按路径查找类时返回None的情况,最终触发NoneType.__new__的报错。 - 序列化对象嵌套了当前环境未导入的自定义类。如果存储模型前,曾给XGBoost实例附加过自定义类的属性、或把自定义类实例和XGBoost模型嵌套存入同一个joblib文件,而加载代码没有在执行load操作前导入对应的自定义类模块,就会导致类查找失败返回None。
- Python版本兼容问题。当前运行环境为Python3.6,如果存储模型时使用的是Python3.8及以上版本,pickle协议版本的差异会叠加XGBoost对不同Python版本的适配差异,进一步提升类映射失败的概率。
对应解决方法
- 全链路对齐依赖版本。确认存储该XGBoost模型时使用的Python、xgboost、joblib版本,和当前加载环境完全一致,避免小版本差异导致的类路径映射失效。
- 前置导入依赖类模块。如果模型文件中嵌套了自定义类实例,需要在执行
joblib.load的代码最开头,完整导入所有相关的自定义类模块,确保反序列化流程中能正确匹配到类对象。 - 替换为XGBoost原生序列化方式规避兼容问题。如果能在原始生成模型的环境中打开原模型文件,优先用XGBoost自带的
save_model方法将模型转为原生二进制格式存储,后续加载时直接调用load_model接口读取,这种方式不受Python版本、joblib版本、xgboost内部类路径调整的影响,跨环境兼容性远高于pickle/joblib序列化。 - 定位缺失的类引用。可以自定义带日志打印的Unpickler组件,替换joblib默认的反序列化逻辑,在类查找环节打印所有被检索的模块名与类名,精准定位是哪一个路径下的类引用为None,再针对性修正导入路径或对齐版本。
内容的提问来源于stack exchange,提问作者Alex Goft
相关产品推荐
相关产品推荐

