加载pickle模型遇ValueError：节点数组dtype不兼容问题求助

我从GitHub复制了一个Django+机器学习的医疗诊断项目，模型可通过血液检测值预测患者是否存在风险。使用Python 3.11.0在VSCode本地运行项目，尚未部署后端/机器学习模型，在浏览器尝试预测结果时触发错误。

环境依赖（requirements.txt） #

asgiref==3.5.0
Django==4.0.3
joblib==1.1.0
numpy~=1.26.4
pandas==2.2.2
python-dateutil==2.8.2
pytz==2022.1
scikit-learn==1.0.2
scipy==1.8.0
six==1.16.0
sklearn==0.0
sqlparse==0.4.2
threadpoolctl==3.1.0
tzdata==2021.5

完整报错回溯 #

Traceback (most recent call last):
File "D:\Django_MachineLearning_HealthcareApp-main\venv\Lib\site-packages\django\core\handlers\exception.py", line 55, in inner response = get_response(request) 
File "D:\Django_MachineLearning_HealthcareApp-main\venv\Lib\site-packages\django\core\handlers\base.py", line 197, in _get_response response = wrapped_callback(request, *callback_args, **callback_kwargs)
File "D:\Django_MachineLearning_HealthcareApp-main\backend\views.py", line 76, in lpredictor result = ValuePredictor(llis, 7, mname) 
File "D:\Django_MachineLearning_HealthcareApp-main\backend\views.py", line 60, in ValuePredictor trained_model = joblib.load(rf'{mdname}_model.pkl') 
File "D:\Django_MachineLearning_HealthcareApp-main\venv\Lib\site-packages\joblib\numpy_pickle.py", line 658, in load obj = _unpickle(fobj, filename, mmap_mode) 
File "D:\Django_MachineLearning_HealthcareApp-main\venv\Lib\site-packages\joblib\numpy_pickle.py", line 577, in _unpickle obj = unpickler.load()
File "C:\Users\vanda\AppData\Local\Programs\Python\Python311\Lib\pickle.py", line 1213, in load dispatch[key[0]](self)
File "D:\Django_MachineLearning_HealthcareApp-main\venv\Lib\site-packages\joblib\numpy_pickle.py", line 402, in load_build Unpickler.load_build(self)
File "C:\Users\vang\AppData\Local\Programs\Python\Python311\Lib\pickle.py", line 1718, in load_build setstate(state) File "sklearn\tree\_tree.pyx", line 865, in sklearn.tree._tree.Tree.setstate <source code not available>
File "sklearn\tree\_tree.pyx", line 1571, in sklearn.tree._tree._check_node_ndarray <source code not available>
Exception Type: ValueError at /diagnose/liver/report
Exception Location:sklearn\tree\_tree.pyx, line 1571, in sklearn.tree._tree._check_node_ndarray Exception Value: node array from the pickle has an incompatible dtype:
expected: {'names': ['left_child', 'right_child', 'feature', 'threshold', 'impurity', 'n_node_samples', 'weighted_n_node_samples', 'missing_go_to_left'], 'formats': ['<i8', '<i8', '<i8', '<f8', '<f8', '<i8', '<f8', 'u1'], 'offsets': [0, 8, 16, 24, 32, 40, 48, 56], 'itemsize': 64}
got     : [('left_child', '<i8'), ('right_child', '<i8'), ('feature', '<i8'), ('threshold', '<f8'), ('impurity', '<f8'), ('n_node_samples', '<i8'), ('weighted_n_node_samples', '<f8')]

问题原因 #

这个错误的核心是scikit-learn版本不兼容：你当前使用的scikit-learn 1.0.2版本，和生成.pkl模型文件的scikit-learn版本不一致。新版本的scikit-learn在树模型（如随机森林、决策树）的节点数据结构中新增了missing_go_to_left字段，而旧版本加载时无法识别这个新增字段，因此触发 dtype 不匹配的错误。

解决方案 #

方案1：升级scikit-learn到兼容版本 #

在虚拟环境中执行以下命令升级scikit-learn，使其版本与训练模型时的版本一致（如果不确定具体版本，可以直接升级到最新兼容Python 3.11的版本）：

pip install --upgrade scikit-learn

方案2：重新训练模型（如果项目包含训练代码） #

找到项目中用于训练模型的脚本，在你的本地环境重新运行训练代码并保存模型。这样生成的.pkl文件会适配当前环境的scikit-learn版本，彻底解决版本兼容问题。

方案3：降级Python版本（兜底方案） #

如果升级scikit-learn后与其他依赖包冲突，可以尝试将Python版本降级到3.9或3.10，然后重新安装requirements中的所有依赖。不过这是优先级最低的方案，建议优先尝试前两种。

内容的提问来源于stack exchange，提问作者Vang02