Google Colab中GridSearchCV设n_jobs=-1报PicklingError如何解决？

该报错是由于GridSearchCV启用多进程并行时，默认的pickle序列化工具无法序列化notebook中定义的自定义模型、自定义评估函数等对象，单进程运行不需要跨进程传递序列化对象，因此不会触发错误。

以下是可行的解决方案：

• 更换并行后端为loky，搭配joblib的上下文管理器绕过序列化限制，Colab环境已预装相关依赖，无需额外安装：

from joblib import parallel_backend

with parallel_backend('loky', n_jobs=-1):
    grid = GridSearchCV(estimator=model, param_grid=param_grid)
    grid_result = grid.fit(X, y)

• 若代码中包含自定义的模型类、预处理类、评估函数，不要直接在Colab的单元格中定义，将其写入单独的Python模块后导入使用，即可解决顶层对象无法序列化的问题：
  1. 先将自定义代码写入单独的模块文件：

  %%writefile custom_components.py
  from sklearn.base import BaseEstimator
  # 你的自定义模型/评估函数实现
  class MyEstimator(BaseEstimator):
      def fit(self, X, y=None):
          pass
  

  2. 从模块中导入自定义对象使用：

  from custom_components import MyEstimator
  model = MyEstimator()
  

• 若使用XGBoost、LightGBM等自带并行逻辑的模型，无需为GridSearchCV设置n_jobs参数，直接在模型初始化参数中设置n_jobs=-1即可，避免双重并行导致的序列化冲突。
• 部分scikit-learn版本对n_jobs=-1的自动识别存在兼容问题，可先查询Colab实例的CPU核心数，手动设置对应的数值：

import multiprocessing
# 打印当前实例可用CPU核心数
print(multiprocessing.cpu_count())

注意：Colab免费版CPU实例默认核心数为2，设置n_jobs时不要超过该数值。

内容的提问来源于stack exchange，提问作者Alessandro