如何解决搭配SVC的GridSearchCV运行Pipeline报错问题

Scikit-learn原生Pipeline对步骤接口有强制约束：

• 仅最后一步允许是普通估计器（只需实现fit、predict方法）
• 所有中间步骤必须是转换器（同时实现fit、transform方法），或显式传入字符串'passthrough'表示跳过该步骤

你的代码存在3个直接触发报错的问题：

• IsolationForest被放在中间步骤位置，它是异常检测估计器，没有实现transform方法，不符合转换器接口要求
• Pipeline中默认跳过的步骤传了None，这个值不会被Pipeline识别为跳过，只有'passthrough'是合法的跳过标识
• RandomUnderSampler、SMOTE属于样本重采样组件，原生sklearn Pipeline不支持这类组件，哪怕接口写对了也会在重采样时因为无法同步处理标签y报错

• 替换Pipeline实现：使用imblearn.pipeline.Pipeline替代sklearn原生Pipeline，它原生支持各类重采样组件，兼容sklearn所有原生转换器、估计器，不需要额外适配
• 适配IsolationForest：如果要把异常值过滤纳入Pipeline流程，需要将其包装为同时实现fit、transform（以及适配重采样逻辑的fit_resample）的自定义转换器；如果不需要对比异常过滤的效果差异，直接在Pipeline运行前单独做异常值剔除即可，逻辑更简洁
• 修正步骤默认值：Pipeline中所有默认跳过的步骤统一填'passthrough'，不要传None
• 调整参数网格：给每个可选步骤的候选值加'passthrough'选项，GridSearchCV会自动遍历“启用该步骤”“跳过该步骤”的所有组合，不需要手动留空

import numpy as np
from sklearn.svm import SVC
from sklearn.preprocessing import StandardScaler, RobustScaler, MinMaxScaler
from sklearn.ensemble import IsolationForest
from sklearn.model_selection import GridSearchCV
from imblearn.under_sampling import RandomUnderSampler
from imblearn.over_sampling import SMOTE
from imblearn.pipeline import Pipeline

# 包装IsolationForest为Pipeline兼容的转换器，实现训练时拟合异常检测模型、转换时过滤异常样本
class IFOutlierFilter:
    def __init__(self, random_state=45, contamination=0.1):
        self.random_state = random_state
        self.contamination = contamination
        self.model = None

    def fit(self, X, y=None):
        self.model = IsolationForest(
            random_state=self.random_state, 
            contamination=self.contamination
        ).fit(X)
        return self

    def transform(self, X):
        # IsolationForest返回1为正常样本、-1为异常样本，仅保留正常样本
        keep_mask = self.model.predict(X) == 1
        return X[keep_mask]

    # 适配imblearn Pipeline的标签同步逻辑，过滤异常样本时同步删除对应标签
    def fit_resample(self, X, y=None):
        self.fit(X, y)
        keep_mask = self.model.predict(X) == 1
        return X[keep_mask], y[keep_mask] if y is not None else None

# 初始化Pipeline，默认所有可选步骤为跳过状态
pipe = Pipeline([
    ('scaling', 'passthrough'),
    ('anomaly', 'passthrough'),
    ('balancing', 'passthrough'),
    ('classificator', SVC())
])

# 构造参数网格，每个可选步骤都加入'passthrough'作为候选值
params = {
    'scaling': [StandardScaler(), RobustScaler(), MinMaxScaler(), 'passthrough'],
    'anomaly': [IFOutlierFilter(), 'passthrough'],
    'balancing': [RandomUnderSampler(random_state=45), SMOTE(random_state=45), 'passthrough'],
    'balancing__k_neighbors': [3, 5, 7, 10], # 该参数仅在选中SMOTE时生效，选其他步骤时会自动忽略
    'classificator__C': np.logspace(-2, 1, 4)
}

gs = GridSearchCV(estimator=pipe, param_grid=params, cv=5)
gs.fit(x_tr, y_tr)

• 自定义异常过滤器的contamination参数（异常样本占比）也可以加入参数网格搜索，比如'anomaly__contamination': [0.05, 0.1, 0.15]，自动找最优的异常过滤比例
• 如果不需要在网格搜索中对比异常过滤、采样、缩放步骤的有无效果，直接把确定要用的预处理步骤写死在Pipeline里即可，不需要加'passthrough'选项
• 不要在Pipeline中间步骤放只做预测、不做数据转换的估计器，这类组件只能放在Pipeline最后一步

内容的提问来源于stack exchange，提问作者stefano.sil