Sklearn自定义转换器报错：需2个位置参数却传入3个

这个错误的核心原因是你的自定义转换器没有遵循Scikit-Learn的Estimator API规范：Scikit-Learn的Pipeline在调用fit_transform时，会自动传入3个参数（self, X, y），但你定义的fit_transform方法只接受2个参数，导致参数不匹配报错。

下面是具体的修复步骤和优化后的代码：

1. 修正自定义转换器的API兼容问题 #

Scikit-Learn要求所有转换器必须：

• fit方法接受X和可选的y参数，返回self
• transform方法接受X参数，返回转换后的数据集
• fit_transform可以复用fit和transform的逻辑，或者接受X, y和额外关键字参数

优化后的DatePartTransformer #

import re
import numpy as np
import pandas as pd
from sklearn.base import BaseEstimator, TransformerMixin

class DatePartTransformer(BaseEstimator, TransformerMixin):
    def __init__(self, fldname, drop=True, time=False, errors='raise'):
        self.fldname = fldname
        self.drop = drop
        self.time = time
        self.errors = errors
    
    def fit(self, X, y=None):
        # 无监督转换器，fit阶段不需要做任何操作
        return self
    
    def transform(self, X):
        # 复制输入数据，避免修改原始数据集
        df = X.copy()
        fld = df[self.fldname]
        fld_dtype = fld.dtype
        
        # 处理时区感知的datetime类型
        if isinstance(fld_dtype, pd.core.dtypes.dtypes.DatetimeTZDtype):
            fld_dtype = np.datetime64
        
        # 转换为datetime类型（如果还不是的话）
        if not np.issubdtype(fld_dtype, np.datetime64):
            df[self.fldname] = fld = pd.to_datetime(fld, infer_datetime_format=True, errors=self.errors)
        
        targ_pre = re.sub('[Dd]ate$', '', self.fldname)
        attr = ['Year', 'Month', 'Week', 'Day', 'Dayofweek', 'Dayofyear', 
                'Is_month_end', 'Is_month_start', 'Is_quarter_end', 
                'Is_quarter_start', 'Is_year_end', 'Is_year_start']
        
        if self.time:
            attr += ['Hour', 'Minute', 'Second']
        
        # 提取日期时间属性
        for n in attr:
            df[targ_pre + n] = getattr(fld.dt, n.lower())
        
        # 添加时间戳转换的秒数
        df[targ_pre + 'Elapsed'] = fld.astype(np.int64) // 10 ** 9
        
        # 移除原始日期列（如果设置了drop=True）
        if self.drop:
            df.drop(self.fldname, axis=1, inplace=True)
        
        return df

优化后的TrainCats #

from pandas.api.types import is_string_dtype
from sklearn.base import BaseEstimator, TransformerMixin

class TrainCats(BaseEstimator, TransformerMixin):
    def __init__(self):
        pass
    
    def fit(self, X, y=None):
        return self
    
    def transform(self, X):
        df = X.copy()
        # 将字符串列转换为有序分类类型
        for n,c in df.items():
            if is_string_dtype(c):
                df[n] = c.astype('category').cat.as_ordered()
        return df

2. 修正Pipeline的使用 #

现在你的转换器已经完全兼容Scikit-Learn API，可以直接正常使用Pipeline：

from sklearn.pipeline import Pipeline

pipeline = Pipeline([
    ('date_transformer', DatePartTransformer('date')),
    ('cat_converter', TrainCats())
])

df = pipeline.fit_transform(df_raw)

为什么这样修改？ #

1. 继承BaseEstimator和TransformerMixin：这两个基类帮我们自动实现了符合规范的fit_transform方法，不需要自己重复编写，同时保证转换器能被Pipeline正确识别。
2. 添加y=None默认参数：处理Pipeline自动传入的y参数（即使是无监督场景，Pipeline也会尝试传递这个参数）。
3. 复制输入数据：使用X.copy()避免修改原始数据集，防止产生意外的副作用。
4. 将参数移到__init__中：把drop、time等配置参数放到构造函数里，符合Scikit-Learn的参数配置习惯，也方便后续调参。

内容的提问来源于stack exchange，提问作者vishak bharadwaj