在pyenv与Poetry环境中匹配Python/sklearn版本以运行Kaggle导出的Pickle机器学习模型报错排查

我来帮你排查这个问题，这个ModuleNotFoundError本质是sklearn版本迭代中的模块结构变更加上环境配置没有严格对齐Kaggle的依赖版本导致的，下面是具体的排查和解决步骤：

1. 严格对齐Kaggle的Python和sklearn版本 #

首先，你的核心问题是序列化模型的环境（Kaggle的Python3.6.6 + sklearn0.21.3）和本地运行环境不一致，或者环境配置没生效。注意几个细节：

• 修正poetry环境配置命令：
  你之前的步骤里有个小错误：poetry new model_api后应该进入model_api目录，而不是model_test；另外poetry env use python会默认用系统Python，应该指定pyenv的3.6.6版本。正确的流程是：

  # 1. 设置当前目录用Python3.6.6
  pyenv local 3.6.6
  # 2. 创建poetry项目
  poetry new model_api
  # 3. 进入项目目录
  cd model_api
  # 4. 指定poetry使用pyenv的3.6.6（确保环境绑定正确）
  poetry env use $(pyenv which python)
  # 5. 安装精确版本的scikit-learn（注意官方包名是scikit-learn，sklearn是别名）
  poetry add scikit-learn==0.21.3
  

• 验证环境是否生效：
  执行以下命令确认版本匹配：

  poetry run python --version  # 应该输出Python 3.6.6
  poetry run pip show scikit-learn  # 应该输出Version: 0.21.3
  

2. 修复pickle模块路径映射（版本对齐后仍报错时用） #

如果严格对齐版本后还是报错，可能是pickle序列化时记录的模块路径在当前环境中有细微差异（比如sklearn内部模块的命名调整）。可以手动给旧模块名做映射：

import sys
# 将旧的模块路径映射到当前环境的实际模块
from sklearn.ensemble import _forest
sys.modules['sklearn.ensemble.forest'] = _forest

# 再加载模型
import pickle
with open('./model/ForestModel', 'rb') as f:
    model = pickle.load(f)

这个方法相当于给Python解释器一个"别名映射"，让它能找到旧路径对应的新模块。

3. 改用sklearn官方推荐的joblib序列化/反序列化 #

sklearn官方不推荐用原生pickle序列化模型（尤其是树模型、集成模型），更推荐用joblib，它对大模型的序列化更高效，也更少出现模块路径问题：

• 在Kaggle上重新用joblib保存模型：

  from sklearn.ensemble import RandomForestClassifier
  import joblib
  
  # 假设你的模型是model变量
  joblib.dump(model, 'ForestModel.joblib')
  

• 本地用joblib加载：

  import joblib
  model = joblib.load('./model/ForestModel.joblib')
  

这个方法能从根源避免pickle的模块路径问题。

4. 检查VS Code的Python解释器配置 #

确保VS Code使用的是poetry创建的虚拟环境：

1. 打开命令面板（Ctrl+Shift+P）
2. 输入Python: Select Interpreter
3. 找到对应model_api项目的虚拟环境（路径通常是~/.cache/pypoetry/virtualenvs/model-api-<随机字符串>/bin/python，或者pyenv管理的虚拟环境）
4. 选择后，VS Code会自动使用这个环境运行代码，避免用错Python版本或依赖。

内容的提问来源于stack exchange，提问作者Michael