scikit-learn串联ColumnTransformer无法指定列名的解决方法

问题根因 #

你遇到的报错来自scikit-learn转换器的两个默认特性：

• 同一个ColumnTransformer实例下的所有转换器是并行执行的，所有转换器的输入都是原始数据集，因此缩放器会直接拿到未做缺失值填充的原始列，遇到缺失值直接运行失败。
• 串联两个ColumnTransformer时，默认第一个转换器输出为numpy数组，会丢失原始数据的列名、列索引映射信息，第二个转换器无法通过列名定位待处理列。

推荐实现：嵌套Pipeline + 单个ColumnTransformer #

不需要拆分两个ColumnTransformer，只需要针对每一类列的处理流程单独构建串行Pipeline，再统一交给ColumnTransformer按列分发即可，这是官方推荐的列分组多步骤转换实现方式：

• 数值型(float64)列：按顺序执行「均值填充缺失值 → 标准化缩放」
• 类别/整数型列：仅执行「众数填充缺失值」，不做缩放
• 其余列：直接透传

修正后的完整可运行代码如下：

from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler
from sklearn.cross_decomposition import PLSRegression
from sklearn.model_selection import KFold, GridSearchCV, cross_val_score

# 列分组
numeric_columns = list(X.select_dtypes('float64').columns)
cat_columns = list(X.select_dtypes('object').columns) + list(X.select_dtypes('int64').columns)

# 数值列处理流水线：先填充再缩放
num_pipe = Pipeline(steps=[
    ('impute_mean', SimpleImputer(strategy='mean')),
    ('scaler', StandardScaler())
])

# 统一列转换器：按列组应用不同处理逻辑
preprocessor = ColumnTransformer(
    transformers=[
        ('num_process', num_pipe, numeric_columns),
        ('cat_impute', SimpleImputer(strategy='most_frequent'), cat_columns)
    ],
    remainder='passthrough'
)

# 超参数网格
parameters = {'model__n_components':[1,2,3,4,5]}

# 完整建模管道
pipeline = Pipeline([
    ('preprocess', preprocessor),
    ('model', PLSRegression())
])

# 交叉验证配置
cv = KFold(n_splits=10, shuffle=True, random_state=42)
clf = GridSearchCV(pipeline, parameters, scoring="r2", cv=10)

# 评估（原代码末尾多了一个右括号，此处已修正）
cross_val_score(clf, X, y, cv=cv, scoring="r2")

备选实现：开启pandas输出保留列名串联 #

如果你确实需要拆分填充、缩放两个转换步骤，可以在第一个ColumnTransformer中开启pandas输出配置，让转换结果保留列名，第二个ColumnTransformer即可正常通过列名筛选待处理列：

# 第一个填充用ColumnTransformer配置pandas输出
imputer = ColumnTransformer(
    [('Imput_mean', imp_mean, numeric_columns),
     ('Imput_freq', imp_freq, cat_columns),
    ], 
    remainder='passthrough',
    verbose_feature_names_out=False  # 不修改原始列名
).set_output(transform='pandas') # 输出为带列名的DataFrame

# 第二个缩放转换器即可正常识别列名
feature_transformer = ColumnTransformer(
    [('num',StandardScaler(),numeric_columns), 
    ], remainder='passthrough'
)

注意：这种方式需要确保第一个转换器输出的列顺序和原始列顺序完全一致，避免出现列匹配错位的问题，稳定性不如嵌套Pipeline方案。

内容的提问来源于stack exchange，提问作者RobMcC