如何在sklearn Pipeline中拼接PCA与KMeans输出特征
sklearn Pipeline实现分支特征拼接的方案
先说最核心的问题
你原来搭的线性Pipeline结构根本跑不通:sklearn原生Pipeline是单进单出的线性链,上一步的输出只会传给紧挨着的下一步,根本没法在第三步拿到第一步PCA的输出——你要拼的两个矩阵(PCA降维结果、KMeans分组标签)分在链的不同位置,这种跨步骤取特征的操作,纯线性Pipeline天生就不支持。
而且你写的myStep3(FastICA().components_, KMeans().labels_)是完全无效的写法:Pipeline初始化的时候所有转换器都还没跑fit,这些实例上的属性全是空的,根本拿不到真实的矩阵数据,和你描述的4步流程没有任何关系,里面提到的FastICA也和实际流程无关,属于初始化时的误写。
有没有内置组件能替代自定义的myStep3
核心的拼接逻辑根本不用自己写,sklearn早就有现成的工具:
FeatureUnion就是专门干“把多个同样本数的特征矩阵按列横向拼接”的,本来就是为这种带分支的特征工程设计的passthrough是内置的透传接口,直接把上游输入原封不动传出去,不需要写任何额外代码
唯一需要补的不到10行代码,是因为内置KMeans默认的transform方法输出的是样本到各个簇中心的距离矩阵,不是你要的s行1列的分组标签,只要写个迷你小转换器,把KMeans输出的标签转成符合sklearn规范的二维特征格式就行。
完整可运行的实现
第一步:补全KMeans标签提取的迷你转换器
from sklearn.base import BaseEstimator, TransformerMixin from sklearn.pipeline import Pipeline, FeatureUnion from sklearn.decomposition import PCA from sklearn.cluster import KMeans from sklearn.neural_network import MLPClassifier import numpy as np class KMeansLabelExtractor(BaseEstimator, TransformerMixin): def __init__(self, n_clusters=3, random_state=42): # 把KMeans参数透传,支持Pipeline后续的参数调优 self.kmeans = KMeans(n_clusters=n_clusters, random_state=random_state) def fit(self, X, y=None): # 拟合内部的KMeans模型 self.kmeans.fit(X) return self def transform(self, X): # 输出每个样本的分组标签,reshape成s行1列的标准二维特征格式 return self.kmeans.predict(X).reshape(-1, 1)
第二步:搭建完全匹配你流程的Pipeline
full_pipeline = Pipeline(steps=[ # 1. PCA降维:输出s行c列的matrix_1 ('pca', PCA(n_components=10)), # 2. 特征拼接模块:自动把两个分支的输出横向拼成matrix_3 ('feature_concat', FeatureUnion(transformer_list=[ # 分支1:透传PCA的输出(也就是原封不动保留matrix_1,s行c列) ('pca_origin_feat', 'passthrough'), # 分支2:把PCA输出喂给KMeans,输出s行1列的matrix_2 ('kmeans_label_feat', KMeansLabelExtractor(n_clusters=3)) ])), # 3. 把拼接好的c+1列特征喂给MLP分类器 ('mlp', MLPClassifier(max_iter=500)) ])
流程匹配验证
这个结构和你要的4步流程完全对齐:
- 第一步跑完PCA,出来的就是s行c列的matrix_1,和要求一致
- 这个matrix_1直接传给后面的拼接模块,分两路走:一路原封不动当原始PCA特征留着,另一路喂给KMeans,训练完聚类模型之后输出每个样本的分组标签,就是s行1列的matrix_2
- 拼接模块自动把两路结果按列拼起来,出来就是c+1列的matrix_3,刚好是MLP需要的输入
- 最后把matrix_3喂给MLP分类器,整个训练、预测流程就跑通了
几个容易踩的坑
- 千万不要把PCA放到FeatureUnion的两个分支里重复实例化,那样会训练两个互相独立的PCA模型,降维后的特征维度虽然一样,但数值不对应,拼接出来的结果完全无效。把PCA放在FeatureUnion上游只训练一次,才能保证两个分支用的是同一个matrix_1
- KMeans输出的标签必须reshape成二维数组,不能直接传一维标签,否则会触发sklearn的格式校验报错
- 因为所有组件都是标准的sklearn接口,这个Pipeline可以直接做交叉验证、网格搜参,和原生Pipeline的使用体验完全一致
内容的提问来源于stack exchange,提问作者zhihao_li
相关产品推荐
相关产品推荐

