Scikit-learn Pipeline网格搜索参数显示不一致问题咨询

我不确定是否正确使用了scikit-learn中的超参数搜索函数，代码如下：

from sklearn import datasets
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline
from sklearn.svm import LinearSVC
from sklearn.preprocessing import MinMaxScaler, StandardScaler

iris = datasets.load_iris()
X = iris.data
y = iris.target

scalers = [
            StandardScaler(),
            # MinMaxScaler(feature_range=(0,1)), 
            MinMaxScaler(feature_range=(-1,1)), 
            # PowerTransformer(),
            # RobustScaler(unit_variance=True)
        ]

svm_param = {'scaler': scalers, 
        'learner': [LinearSVC()],
        # 'learner__dual': [True, False],  # with True svm selects random features
        'learner__C': [0.01, 0.1, 1.0, 10.0, 100.0, 1000.0],  # uniform(loc=1e-5, scale=1e+5),  # [0.5, 1.0, 2],
        'learner__tol': [1e-4],  # svm_learner_tol,  # [1e-5, 1e-4, 1e-3],
        'learner__random_state': [22],
        'learner__max_iter': [1000]}

pipe = Pipeline([
        ("scaler", None),
        ("learner", None)
    ])

grid = GridSearchCV(
    pipe, param_grid=svm_param, 
    scoring="accuracy",
    verbose=2,
    refit=True, 
    cv = 5, return_train_score=True)

n_features = [X.shape[1], 20]

for nf in n_features:
    X = iris.data[:, :nf]  # we only take the first two features.
    print("n_features", nf)

    grid = GridSearchCV(
        pipe, param_grid=svm_param, 
        scoring="accuracy",
        verbose=2,
        refit=True, 
        cv = 5, return_train_score=True)

    grid.fit(X, y)

运行后发现：第一次特征数量迭代（n_features=4）的输出中，learner显示为默认构造的LinearSVC()，搭配网格参数（如learner__C=0.01）；第二次特征数量迭代（n_features=20）的输出中，learner显示为LinearSVC(C=100.0, random_state=22)，但对应网格参数仍为learner__C=0.01，二者不一致。请问该现象是否属于正常情况，还是我的操作存在错误？

这是操作错误导致的，核心原因是参数网格中复用了同一个LinearSVC实例，引发对象状态污染：

• 你在svm_param里传入的LinearSVC()是一个全局实例对象，第一次网格搜索时，scikit-learn会直接修改这个实例的参数来遍历网格组合；当第二次循环运行搜索时，这个实例已经被之前的搜索修改为某个非默认状态（比如C=100.0），此时搜索尝试设置learner__C=0.01时，由于实例复用，打印的对象状态和当前网格参数会出现不一致。

两种修正方案： #

1. 传入模型类而非实例（推荐）
   让网格搜索每次自动创建新的模型实例，彻底避免复用问题：

   svm_param = {
       'scaler': scalers, 
       'learner': [LinearSVC],  # 替换为类，不是实例
       'learner__C': [0.01, 0.1, 1.0, 10.0, 100.0, 1000.0],
       'learner__tol': [1e-4],
       'learner__random_state': [22],
       'learner__max_iter': [1000]
   }
   

2. 每次传入新的实例对象
   如果必须用实例，确保每个网格项对应一个新实例：

   svm_param = {
       'scaler': scalers, 
       'learner': [LinearSVC() for _ in scalers],  # 为每个scaler创建新实例
       'learner__C': [0.01, 0.1, 1.0, 10.0, 100.0, 1000.0],
       'learner__tol': [1e-4],
       'learner__random_state': [22],
       'learner__max_iter': [1000]
   }
   

补充说明： #

scikit-learn的网格搜索在处理传入的模型实例时，会直接修改实例参数进行迭代。如果多次复用同一个实例，会导致实例状态被之前的搜索修改，进而出现参数显示不匹配的问题。传入类的方式更安全，也符合scikit-learn的最佳实践。

内容的提问来源于stack exchange，提问作者Antonio Sesto