Scikit-learn管道使用自定义转换器报错，单独调用正常

你遇到的报错核心原因是自定义转换器的fit方法不符合Scikit-learn的接口规范，导致Pipeline调用时参数传递异常。以下是具体的排查和解决步骤：

1. 核心问题：fit方法的签名不符合规范 #

Scikit-learn要求所有转换器的fit方法必须遵循以下签名：

def fit(self, X, y=None):

• self必须是第一个参数（实例方法的必需参数）
• y需要设置默认值None，适配Pipeline的统一调用逻辑
• 方法必须返回self，支持链式调用

你单独调用时正常，是因为你手动传入了y参数；但Pipeline会严格按照接口规范调用fit，如果你的fit方法没有给y设置默认值，或者参数顺序错误，就会触发参数不匹配的报错。

2. 正确的自定义转换器实现 #

必须继承BaseEstimator和TransformerMixin基类（提供Scikit-learn所需的标准接口），并修正fit方法的签名：

import pandas as pd
from sklearn.base import BaseEstimator, TransformerMixin

class CorrelatedAttributesKeeper(BaseEstimator, TransformerMixin):
    def __init__(self, threshold=0.3):
        self.threshold = threshold
        self.selected_features = []  # 存储筛选后的特征列名

    def fit(self, X, y=None):
        # 检查y是否传入（因为需要计算与标签的相关性）
        if y is None:
            raise ValueError("计算特征与标签相关性时，y不能为None")
        
        # 计算每个特征与标签的相关性（假设X是DataFrame，y是Series）
        corr_values = X.corrwith(y)
        # 筛选绝对值超过阈值的特征
        self.selected_features = corr_values[abs(corr_values) > self.threshold].index.tolist()
        
        return self  # 必须返回self，符合Scikit-learn规范

    def transform(self, X):
        # 返回筛选后的特征子集
        return X[self.selected_features]

3. 验证Pipeline调用 #

修正后，即可正常加入Pipeline使用：

from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression
import numpy as np

# 生成测试数据
X = pd.DataFrame({
    'f1': np.random.rand(100),
    'f2': np.random.rand(100),
    'f3': np.random.rand(100) * 0.7 + y * 0.3,  # 与y相关性较高
    'f4': np.random.rand(100)
})
y = np.where(X['f3'] > 0.5, 1, 0)

# 创建Pipeline并运行
pipe = Pipeline([
    ('corr_filter', CorrelatedAttributesKeeper(threshold=0.2)),
    ('classifier', LogisticRegression())
])

pipe.fit(X, y)
y_pred = pipe.predict(X)

内容的提问来源于stack exchange，提问作者Dargscisyhp