Python2.7迁移至3.11遇XGBoost及Pickle兼容问题求助

问题描述 #

我正在运行他人编写的用于复现实验的Python 2.7脚本，包含三个文件：prediction_2021.py、performance_2020.py以及调用XGBoost的prediction.py。原本在Python 2.7虚拟环境中运行正常，但XGBoost突然无法使用，于是尝试将所有内容迁移到MacOS的Python 3.11环境。

迁移后，prediction_2021.py和performance_2020.py加载的Pickle文件无法在Python 3.11中读取，尝试将文件转为CSV、YAML、JSON等格式后，加载仍出现各类错误。这两个脚本在prediction.py中的引用代码如下：

from prediction_2021 import get_pred, preprocess_data
from performance_2020 import get_bootstrap, chunks, aggregated_performance_table

我有两个问题：

1. 官方已停止支持的Python 2.7是否仍可使用XGBoost包？
2. 我是否只能重写前两个脚本以适配Python 3.11的文件读取逻辑？

已尝试的解决方法：转换文件格式、修正原脚本的读取部分、重启并重装虚拟环境中的包，均未解决问题。

解答 #

1. Python 2.7仍可使用特定版本的XGBoost #

XGBoost在1.6.x版本及之前官方支持Python 2.7，后续版本（1.7.0及以上）已完全移除对Python 2.7的支持。如果想继续在Python 2.7环境中使用XGBoost，可以指定安装兼容的旧版本：

pip install xgboost==1.6.2

注意：如果你的Mac是M系列芯片（arm64架构），Python 2.7本身不支持arm64，需要通过Rosetta 2模拟x86_64环境运行虚拟环境，否则可能出现安装或运行错误。

2. 无需直接重写脚本，优先尝试兼容方案 #

重写脚本是最后的选择，你可以先尝试以下几种更高效的兼容方法：

• 调整Pickle加载参数：在Python 3.11中加载Python 2.7生成的Pickle文件时，指定编码参数解决字符串兼容问题：

  import pickle
  # 尝试指定编码
  with open('your_pickle_file.pkl', 'rb') as f:
      data = pickle.load(f, encoding='latin1')
  # 或者忽略编码错误（仅当非关键字符出错时使用）
  with open('your_pickle_file.pkl', 'rb') as f:
      data = pickle.load(f, errors='ignore')
  

• 在Python 2.7中重新序列化Pickle文件：回到可用的Python 2.7环境，将原Pickle文件重新保存为兼容Python 3的协议版本：

  import pickle
  with open('old_file.pkl', 'rb') as f:
      data = pickle.load(f)
  # 使用协议2（兼容Python 2和3）或更高版本保存
  with open('new_file.pkl', 'wb') as f:
      pickle.dump(data, f, protocol=2)
  

• 使用第三方库兼容加载：如果Pickle中包含自定义类对象，可以尝试用dill库替代pickle加载，它对跨版本和复杂对象的兼容性更好：

  pip install dill
  

  import dill
  with open('your_pickle_file.pkl', 'rb') as f:
      data = dill.load(f, encoding='latin1')
  

• 排查格式转换错误原因：转为CSV/YAML/JSON时出错，通常是因为原Pickle中包含无法序列化为这些格式的复杂对象（如自定义类实例、numpy数组等）。可以先在Python 2.7中解析Pickle数据，将复杂对象转换为基础类型（比如把numpy数组转为列表）后，再导出为CSV等格式。

如果以上方法都无法解决问题，再考虑重写脚本的文件读取逻辑，或者逐步将原Python 2.7代码迁移到Python 3.11。

内容的提问来源于stack exchange，提问作者Sososof