scikit-learn pipeline自定义转换器的参数传递方法
报错核心原因
当前代码存在两个和scikit-learn使用规则不匹配的问题:
- 误用了FunctionTransformer的使用场景:你已经基于
BaseEstimator、TransformerMixin实现了符合规范的自定义Transformer类,完全不需要再套一层FunctionTransformer。后者是用来包装普通Python函数、快速生成Transformer的工具,把自定义Transformer类直接传给它属于嵌套错配,根本不会触发你写的fit、transform逻辑。 - 参数传递逻辑错位:
label_column是你自定义类__init__方法要求的初始化参数,本该在实例化转换器的时候传入,你却把它当成了Pipeline.fit方法的顶层入参,系统无法识别这种无归属的参数,才抛出了对应的类型错误。
正确实现方式
直接使用自定义Transformer构建Pipeline
你写的summary_data1已经完全满足scikit-learn的接口要求,只需要在实例化的时候传入要求的label_column参数,再作为Pipeline的步骤传入即可,不需要任何额外包装。
示例代码:
from sklearn.pipeline import make_pipeline # 实例化自定义转换器时直接传入需要的参数 preprocessor = make_pipeline( summary_data1(label_column="classLabel") ) # fit时只传入特征矩阵即可,不需要额外传label_column preprocessor.fit(mydf) # 运行transform可得到和单独运行转换器完全一致的分组聚合结果 preprocessor.transform(mydf)
如果坚持使用FunctionTransformer的实现方式
如果你不想继承基类写自定义类,只想用普通函数实现groupby聚合逻辑,需要通过FunctionTransformer的kw_args参数传入额外的业务参数,不能把参数往fit方法里塞。
示例代码:
# 定义普通业务函数,把非X的业务参数作为函数入参 def custom_groupby_agg(x, label_col): return x.groupby(label_col).sum() from sklearn.preprocessing import FunctionTransformer preprocessor = make_pipeline( FunctionTransformer( func=custom_groupby_agg, # 在这一步把需要的业务参数通过kw_args传入 kw_args={"label_col": "classLabel"} ) ) preprocessor.fit(mydf) preprocessor.transform(mydf)
补充说明Pipeline的参数传递规则
报错信息里提到的stepname__parameter传参格式,只适用于fit阶段需要动态传入的参数——也就是某个步骤的fit方法里定义的、和训练流程相关的动态参数,不适合用来传转换器的初始化配置参数。
如果后续需要传fit阶段的动态参数,只要按照步骤名双下划线参数名的格式传入即可,比如Pipeline自动给步骤生成的名称是summarydata1,要传它fit方法的参数就可以写:
preprocessor.fit(X, y, summarydata1__xxx=传入值)
注意:不要把初始化类时需要的静态配置参数(比如本次的label_column)用这种方式传递,这类参数在创建转换器实例时就已经固定,和fit流程无关。
内容的提问来源于stack exchange,提问作者Ravi
相关产品推荐
相关产品推荐

