Sklearn中ColumnTransformer与SequentialFeatureSelector结合报错排查

你遇到的ValueError本质是原始数据的特征索引在经过ColumnTransformer预处理后已经完全失效。ColumnTransformer会重新排列特征顺序，甚至会因为分类特征编码（比如OneHotEncoder）增加特征数量，导致你用原始的索引157去定位预处理后的特征时，超出了新的特征维度范围。

1. 先明确预处理后的特征结构 #

先单独运行预处理管道，确认处理后的特征数量和结构，避免盲目使用原始索引：

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler

# 定义分类/数值特征列表
cat_features = [0, 2, 3, 4]
num_features = [i for i in range(158) if i not in cat_features]

# 构建预处理管道
preprocessor = ColumnTransformer(
    transformers=[
        ('cat', OneHotEncoder(), cat_features),
        ('num', StandardScaler(), num_features)
    ])

# 生成预处理后的特征矩阵
X_transformed = preprocessor.fit_transform(X)
print(f"预处理后特征维度: {X_transformed.shape}")

运行后你会发现，处理后的特征数可能和原始的158不一致（比如分类特征用OneHotEncoder会拆分出多列），这就是原始索引失效的直接原因。

2. 用imblearn Pipeline整合所有组件 #

因为SMOTETomek是不平衡数据采样器（需要同时处理X和y），不能用sklearn原生的Pipeline，必须用imblearn.pipeline.Pipeline把预处理、采样、特征选择、分类器整合到一起，让SequentialFeatureSelector直接基于预处理后的特征操作：

from imblearn.pipeline import Pipeline as ImbPipeline
from imblearn.combine import SMOTETomek
from sklearn.ensemble import RandomForestClassifier
from sklearn.feature_selection import SequentialFeatureSelector

# 构建完整流程管道
full_pipeline = ImbPipeline([
    ('preprocessor', preprocessor),
    ('smote_tomek', SMOTETomek()),
    ('sfs', SequentialFeatureSelector(
        estimator=RandomForestClassifier(n_jobs=-1),
        n_features_to_select='auto',  # 可指定具体数量，比如100
        direction='forward'  # 可选'backward'做反向选择
    )),
    ('classifier', RandomForestClassifier(n_jobs=-1))
])

# 训练整个管道
full_pipeline.fit(X, np.ravel(y))

# 预测
y_pred = full_pipeline.predict(X)

这种方式完全避免了手动处理数据时的索引不匹配问题，所有组件按顺序自动传递数据。

3. 若需单独使用SFS（基于预处理后数据） #

如果不想用完整管道，也可以先完成预处理和采样，再对处理后的数据执行特征选择：

# 预处理数据
X_transformed = preprocessor.fit_transform(X)
y_ravel = np.ravel(y)

# 执行SMOTETomek采样
smt = SMOTETomek()
X_resampled, y_resampled = smt.fit_resample(X_transformed, y_ravel)

# 训练SFS
sfs = SequentialFeatureSelector(
    RandomForestClassifier(n_jobs=-1),
    n_features_to_select=100,
    direction='forward'
)
X_selected = sfs.fit_transform(X_resampled, y_resampled)

这里SFS操作的是预处理后的特征矩阵，索引范围完全匹配，不会出现越界错误。

4. 手动映射原始特征到预处理后索引（可选） #

如果一定要基于原始特征索引指定选择目标，可以手动建立映射关系：

# 获取分类特征处理后的列数
cat_col_count = len(preprocessor.named_transformers_['cat'].get_feature_names_out())
# 找到原始数值特征157在数值特征列表中的位置
num_idx = num_features.index(157)
# 计算预处理后的对应索引
transformed_idx = cat_col_count + num_idx
print(f"原始索引157对应预处理后索引: {transformed_idx}")

之后就可以用transformed_idx来指定SFS的操作目标，而不是原始的157。

内容的提问来源于stack exchange，提问作者Tlaltecutli