sklearn从1.0.2升级到1.2.2后模型训练反序列化失败问题咨询

核心原因 #

从sklearn 1.0.2升级到1.2.2后出现"A task has failed to un-serialize"错误，本质是元估计器（OneVsRestClassifier/OneVsOneClassifier）嵌套SVC(rbf)的序列化逻辑与新版本并行机制不兼容，具体细节：

• 1.2.x版本重构了元估计器的内部结构，OneVsRest/OneVsOne对底层SVC模型的引用方式发生改变，旧版本的序列化逻辑无法适配，当RandomizedSearchCV启用多进程（n_jobs>1）时，模型对象跨进程传递时反序列化失败。
• SVC使用rbf核时，内部缓存、核函数状态等参数的序列化格式在1.2.x中做了调整，嵌套元估计器后，复杂结构的序列化/反序列化过程出现断点。
• sklearn 1.2.x升级了依赖的joblib版本，其序列化行为与旧版本存在差异，元估计器+SVC的组合无法被新版本joblib正确处理。

触发条件 #

你的代码若满足以下几点，必然触发该错误：

• 使用OneVsRestClassifier(SVC(kernel='rbf'))或OneVsOneClassifier(SVC(kernel='rbf'))作为待调参模型
• RandomizedSearchCV的n_jobs设置为大于1（默认会根据CPU核心数自动启用多进程）
• sklearn版本从1.0.2升级至1.2.x系列

临时修复方案 #

• 把RandomizedSearchCV的n_jobs设为1，禁用多进程并行，绕开序列化传递的问题
• 显式指定joblib序列化协议：在代码中添加import pickle; from sklearn.utils import parallel_backend，然后用parallel_backend('loky', pickle_protocol=pickle.HIGHEST_PROTOCOL)包裹拟合代码
• 将SVC的cache_size设为0，减少内部缓存状态对序列化的干扰

内容的提问来源于stack exchange，提问作者Data Science Analytics Manager