如何为OneVsRestClassifier各基估计器单独执行超参数调优

你的理解是正确的：直接将OneVsRestClassifier作为整体传入GridSearchCV做调参时，搜索得到的最优超参数会被统一应用到所有一对其余二分类基估计器上，无法针对每个类别对应的二分类任务做个性化参数适配。

可行的实现方案如下：

• 手动拆分二分类任务逐个调参后组装（优先推荐，灵活度最高、搜索效率最优）
  实现逻辑：
  1. 针对全量多分类标签，为每个类别单独生成二分类标签：当前类别样本标记为正类，其余所有类别样本标记为负类
  2. 对每个二分类子任务单独执行网格搜索，得到适配该任务数据分布的最优基分类器
  3. 将训练完成的所有基分类器直接赋值给OneVsRestClassifier的estimators_属性，同时补全类别映射属性，即可得到支持标准多分类预测接口的、每个基分类器参数独立优化的OVR模型
     参考实现代码：

  import numpy as np
  from sklearn.multiclass import OneVsRestClassifier
  from sklearn.linear_model import LogisticRegression
  from sklearn.model_selection import GridSearchCV
  
  # 示例数据：X为特征矩阵，y为6分类标签（取值范围0-5）
  n_classes = 6
  tuned_base_estimators = []
  
  # 逐类别独立调参训练
  for class_id in range(n_classes):
      # 生成当前类的二分类标签
      y_binary = (y == class_id).astype(int)
      # 单任务网格搜索
      base_est = LogisticRegression()
      search_space = {"C": [0.01, 0.1, 1, 10], "max_iter": [1000, 2000]}
      searcher = GridSearchCV(base_est, search_space, cv=5, scoring="f1")
      searcher.fit(X, y_binary)
      tuned_base_estimators.append(searcher.best_estimator_)
  
  # 组装为标准OneVsRestClassifier模型
  ovr_model = OneVsRestClassifier(LogisticRegression())
  # 注入训练好的独立调优基分类器
  ovr_model.estimators_ = tuned_base_estimators
  # 绑定类别顺序，必须和循环训练时的类别顺序完全一致
  ovr_model.classes_ = np.arange(n_classes)
  

  注意点：组装时必须手动给classes_属性赋值，取值顺序要和循环训练基分类器时的类别顺序一一对应，否则预测阶段会出现类别映射错误。
• 嵌套参数网格搜索（不推荐，搜索成本高）
  你可以通过estimator__<参数名>的格式定义嵌套参数空间，但由于OneVsRestClassifier初始化时不会提前生成基估计器列表，无法直接针对不同索引的基估计器单独设置参数搜索空间，且如果强行实现多基估计器联合搜索，参数组合数会随类别数指数级上涨，6个类别下的搜索耗时会远高于逐个调参的方案，性价比极低。

逐基估计器独立调参通常能得到比统一参数更优的多分类效果，尤其是不同类别样本量、区分难度差异较大的场景，但对应的训练总耗时会高于统一调参，可根据实际算力和效果要求选择方案。

内容的提问来源于stack exchange，提问作者Leon J