如何在sklearn Pipeline中用GridSearchCV测试不同模型？

嘿，这个问题我太有共鸣了！之前手动写N个Pipeline对比不同降维/模型的日子简直是噩梦——代码重复率高，维护起来特别麻烦。其实用sklearn原生的参数网格技巧就能完美解决，完全符合Python的简洁优雅风格，而且扩展性拉满，比自定义BaseEstimator规整多了。

核心思路：动态替换Pipeline中的步骤 #

本质上，我们可以只定义一个通用Pipeline，把需要替换的模块（比如降维模型、分类器）做成Pipeline里的一个“可插拔”步骤，然后在GridSearchCV的参数网格中，通过步骤名__参数名的语法，指定这个步骤可以使用的不同模型，以及每个模型对应的参数。这样不用写多个Pipeline，一次GridSearch就能完成所有模型的对比和调参。

完整代码示例：对比不同降维模型 #

假设我们要对比PCA、NMF、TSNE三种降维方法，然后搭配逻辑回归分类器，步骤如下：

1. 导入依赖库 #

import numpy as np
from sklearn.datasets import load_digits
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA, NMF
from sklearn.manifold import TSNE
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV

2. 定义通用Pipeline #

这里我们把降维步骤命名为dim_reduction，后续可以动态替换这个步骤的模型：

pipe = Pipeline([
    ('scaler', StandardScaler()),  # 固定的预处理步骤
    ('dim_reduction', PCA()),      # 可替换的降维步骤，先放一个默认模型占位
    ('classifier', LogisticRegression(max_iter=1000))  # 固定的分类器（也可以替换）
])

3. 构建参数网格：指定不同降维模型+对应参数 #

这里有两种写法，根据需求选择：

写法一：统一调参（适合参数名一致的模型）

如果不同降维模型有相同的参数（比如n_components），可以直接统一指定：

param_grid = {
    'dim_reduction': [PCA(), NMF(), TSNE(perplexity=30)],
    'dim_reduction__n_components': [5, 10, 15],
    'classifier__C': [0.1, 1, 10]  # 同时调分类器的参数
}

写法二：针对不同模型单独调参（更灵活）

如果不同模型的参数名不同（比如TSNE有perplexity，而PCA没有），可以用字典列表的方式，为每个模型组合单独指定参数：

param_grid = [
    # 第一种组合：PCA + 逻辑回归
    {
        'dim_reduction': [PCA()],
        'dim_reduction__n_components': [5, 10, 15],
        'classifier__C': [0.1, 1, 10]
    },
    # 第二种组合：NMF + 逻辑回归
    {
        'dim_reduction': [NMF()],
        'dim_reduction__n_components': [5, 10, 15],
        'classifier__C': [0.1, 1, 10]
    },
    # 第三种组合：TSNE + 逻辑回归
    {
        'dim_reduction': [TSNE()],
        'dim_reduction__perplexity': [20, 30, 40],
        'dim_reduction__n_components': [2, 3],  # TSNE通常降维到2/3维可视化，这里按需调整
        'classifier__C': [0.1, 1, 10]
    }
]

4. 运行GridSearchCV并查看结果 #

# 加载示例数据
X, y = load_digits(return_X_y=True)

# 初始化GridSearchCV
grid_search = GridSearchCV(pipe, param_grid, cv=5, scoring='accuracy', n_jobs=-1)
grid_search.fit(X, y)

# 查看最优模型和参数
print(f"最优准确率: {grid_search.best_score_:.4f}")
print(f"最优参数组合: {grid_search.best_params_}")

# 查看所有模型的结果
for mean_score, params in zip(grid_search.cv_results_['mean_test_score'], grid_search.cv_results_['params']):
    print(f"准确率: {mean_score:.4f} | 参数: {params}")

进阶：同时替换多个步骤（比如降维和分类器都换） #

如果你不仅想换降维模型，还想换分类器（比如同时对比逻辑回归、SVM、随机森林），同样用字典列表的方式扩展参数网格即可：

from sklearn.svm import SVC
from sklearn.ensemble import RandomForestClassifier

param_grid = [
    # PCA + 逻辑回归
    {
        'dim_reduction': [PCA(n_components=10)],
        'classifier': [LogisticRegression(max_iter=1000)],
        'classifier__C': [0.1, 1, 10]
    },
    # NMF + SVM
    {
        'dim_reduction': [NMF(n_components=10)],
        'classifier': [SVC()],
        'classifier__C': [0.1, 1, 10],
        'classifier__kernel': ['linear', 'rbf']
    },
    # TSNE + 随机森林
    {
        'dim_reduction': [TSNE(n_components=3, perplexity=30)],
        'classifier': [RandomForestClassifier()],
        'classifier__n_estimators': [50, 100, 200]
    }
]

为什么这个方案比自定义BaseEstimator更好？ #

• 更规整：完全遵循sklearn的原生API，不需要额外编写自定义类，代码可读性更高，其他熟悉sklearn的开发者一眼就能看懂。
• 扩展性强：要新增模型/参数，只需要在参数网格里加对应的字典即可，不需要修改Pipeline的结构。
• 原生支持所有GridSearchCV功能：自动处理交叉验证、评分、最优模型选择，甚至可以用refit=True直接得到训练好的最优模型，不用自己手动拟合。
• 避免重复代码：不用写多个结构几乎一样的Pipeline，减少冗余。

内容的提问来源于stack exchange，提问作者sooobus