如何合并Sklearn Pipeline与ColumnTransformer，实现单次fit_transform调用？

你可以通过顶层ColumnTransformer嵌套子Pipeline/ColumnTransformer的方式，将所有预处理逻辑整合到一个组件中，只需调用一次fit_transform()就能得到最终拼接后的数据集。

简化后的代码实现 #

from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.decomposition import PCA

# 合并变量列表（方便后续指定处理列）
num_vars = non_skewed_vars + skewed_vars
cat_vars = cat_vars1 + cat_vars2

# 构建顶层预处理组件
preprocessor = ColumnTransformer([
    # 数值特征分支：先分类型处理，再降维
    ('numeric', Pipeline([
        ('num_ct', ColumnTransformer([
            ('non_skewed', non_skewed_num_pipe, non_skewed_vars),
            ('skewed', skewed_num_pipe, skewed_vars)
        ], remainder='drop')),
        ('pca', PCA(n_components=5))
    ]), num_vars),
    # 类别特征分支：分类型处理
    ('categorical', ColumnTransformer([
        ('cat1', cat_pipe1, cat_vars1),
        ('cat2', cat_pipe2, cat_vars2)
    ], remainder='drop'), cat_vars)
], remainder='drop')

# 单次调用得到最终预处理数据集
final_X_train = preprocessor.fit_transform(train_df)

核心逻辑说明 #

1. 顶层ColumnTransformer：负责将原始数据集按列拆分，分别交给数值特征分支和类别特征分支处理，最后自动拼接两个分支的输出结果，替代手动np.c_操作。
2. 数值特征分支：用嵌套Pipeline整合了「数值列分类处理」和「PCA降维」两步，确保数值特征处理完直接完成降维。
3. 类别特征分支：保留你原有的分类处理逻辑，直接作为顶层ColumnTransformer的一个子组件。

扩展：端到端流程（可选） #

如果后续需要对接模型，可以把预处理组件和模型整合到一个完整Pipeline中，实现从原始数据到预测的端到端流程：

from sklearn.linear_model import LogisticRegression

full_pipeline = Pipeline([
    ('preprocess', preprocessor),
    ('model', LogisticRegression())
])

# 训练模型（自动完成预处理+模型训练）
full_pipeline.fit(train_df, train_y)
# 预测（自动对新数据执行相同预处理）
predictions = full_pipeline.predict(test_df)

内容的提问来源于stack exchange，提问作者User356