sklearn中RFECV结合含ColumnTransformer的Pipeline索引越界问题求解
报错核心原因
ColumnTransformer绑定了原始数据集的列索引,而RFECV每轮迭代都会剔除部分特征,传入estimator的是列数更少的numpy数组,原有索引自然超过新数组的长度范围。
解决方案:用自定义转换器实现动态列匹配
这个方案完全保留pipeline嵌套结构,不会产生数据泄露,无需修改RFECV的默认逻辑:
步骤1:实现极简的数组转DataFrame自定义转换器
作用是把RFECV传入的无列名numpy数组,重新映射回原始列名,这样后续预处理就可以用列名而非固定索引匹配特征:
from sklearn.base import BaseEstimator, TransformerMixin import pandas as pd class ArrayToDataFrame(BaseEstimator, TransformerMixin): # 初始化时传入原始数据集的全部列名 def __init__(self, original_columns): self.original_columns = original_columns def fit(self, X, y=None): # 每次fit时,记录当前传入的特征对应的原始列名:因为RFECV传入的X是原始X的列子集,按原始顺序排列 self.selected_columns_ = [self.original_columns[i] for i in range(X.shape[1])] return self def transform(self, X): # 把numpy数组转为带正确列名的DataFrame return pd.DataFrame(X, columns=self.selected_columns_)
步骤2:修改原有pipeline结构
把刚才的转换器放在pipeline最开头,ColumnTransformer直接用列名匹配需要预处理的数值特征即可:
# 先保存原始数据集的全部列名 original_cols = extra_enc_area_tr_data.columns.tolist() huber_prep_pipe = Pipeline([ ('scaler',StandardScaler()) ]) # ColumnTransformer直接用列名nums_area匹配,不再用固定索引 huber_col_transf= ColumnTransformer ([ ('prep',huber_prep_pipe,nums_area) ],remainder='passthrough', verbose_feature_names_out=False) # 注:verbose_feature_names_out=False是sklearn 1.2以上版本参数,低版本去掉即可,不影响功能 huber_pipe = Pipeline([ # 最开头加自定义转换器,传入原始列名 ('array_to_df', ArrayToDataFrame(original_cols)), ('transf',huber_col_transf), ('est',hr()) ]) # 后续的TransformedTargetRegressor和RFECV代码完全不用改 huber_ttr=TransformedTargetRegressor(regressor=huber_pipe,transformer=MinMaxScaler()) min_features=100 huber_pipe_rfecv=RFECV(huber_ttr,min_features_to_select=min_features, cv=5,scoring='neg_root_mean_squared_error',n_jobs=-1,verbose=3, importance_getter='regressor_.named_steps.est.coef_') huber_pipe_rfecv.fit(extra_enc_area_tr_data,log_tr_target)
方案说明
- 完全无数据泄露:所有预处理逻辑都封装在被RFECV包裹的estimator内部,交叉验证每一轮的标准化都是只在当前训练折叠上拟合,不会用到验证折叠的信息
- 无需修改RFECV逻辑:RFECV还是默认把输入转为numpy数组,自定义转换器会自动匹配当前选中特征对应的原始列名,ColumnTransformer永远不会出现索引越界问题
- 后续使用无额外成本:训练完成后
huber_pipe_rfecv可以直接调用predict方法,输入原始结构的DataFrame即可正常运行
内容的提问来源于stack exchange,提问作者Wlodek K
相关产品推荐
相关产品推荐

