sklearn GridSearchCV：如何基于所有折叠拼接结果计算测试指标？

场景1：用全量拼接的测试预测结果作为调参的评分依据 #

默认GridSearchCV会在每个交叉验证折叠内计算指标后取平均值，作为参数组合的得分。如果你想基于所有折叠测试集的拼接结果计算整体指标，并以此选择最佳参数，可以手动遍历参数组合，结合cross_val_predict实现：

import numpy as np
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestRegressor  # 替换为你的模型
from sklearn.model_selection import GridSearchCV, KFold
from sklearn.metrics import mean_squared_error  # 替换为你的目标指标
from sklearn.model_selection import cross_val_predict

# 定义你的Pipeline和参数网格
pipe = Pipeline([
    ('imputer', SimpleImputer()),
    ('scaler', StandardScaler()),
    ('model', RandomForestRegressor())
])

param_grid = {
    'imputer__strategy': ['mean', 'median'],
    'model__n_estimators': [100, 200]
}

cv = KFold(n_splits=5, shuffle=True, random_state=42)

# 遍历所有参数组合，计算全量预测的整体指标
param_performance = []
for params in GridSearchCV(pipe, param_grid, cv=cv).cv_results_['params']:
    # 配置当前参数的管道
    tuned_pipe = pipe.set_params(**params)
    # 生成所有样本的测试折叠预测（每个样本仅在一次测试集中被预测）
    y_pred = cross_val_predict(tuned_pipe, X, y, cv=cv)
    # 计算整体指标
    score = mean_squared_error(y, y_pred)
    param_performance.append({"params": params, "overall_score": score})

# 选择最优参数（这里以MSE最小为例，分类任务可根据指标调整逻辑）
best_params = min(param_performance, key=lambda x: x['overall_score'])['params']
best_model = pipe.set_params(**best_params).fit(X, y)

场景2：调参完成后，生成全量测试折叠预测并计算指标 #

如果已经通过GridSearchCV找到最佳参数，仅需要得到所有折叠测试集的拼接预测结果并计算整体指标，直接用cross_val_predict配合最佳模型即可：

# 先运行GridSearchCV完成调参
grid_search = GridSearchCV(pipe, param_grid, cv=cv)
grid_search.fit(X, y)

# 用最佳模型生成全量测试折叠预测
y_pred_full = cross_val_predict(grid_search.best_estimator_, X, y, cv=cv)

# 计算整体指标
overall_metric = mean_squared_error(y, y_pred_full)
print(f"整体测试指标: {overall_metric}")

关键注意事项 #

• cross_val_predict返回的预测结果严格对应原始数据集的样本顺序，每个样本仅被预测一次（对应其所在的测试折叠），拼接后即为完整的无重叠测试预测集合。
• 整体指标与各折叠指标的平均值可能存在差异，例如分类任务中，整体混淆矩阵计算的F1值，与各折叠F1值的平均值会有所不同，需根据业务需求选择评估方式。
• 若为分类任务，如需预测概率，可在cross_val_predict中指定method="predict_proba"。

内容的提问来源于stack exchange，提问作者David Pellow