Sklearn FeatureUnion在Pipeline中特征合并出现重复特征问题

Got it，这个问题我之前帮不少朋友踩过坑——用FeatureUnion直接拼接KBest（信息增益）和SelectFromModel的结果，确实很容易出现特征重复的情况，毕竟两种特征选择算法的判断逻辑不一样，但大概率会选中一些重叠的特征。FeatureUnion的本质是把两个选择器输出的特征直接按列拼接，比如KBest选了特征A、B、C，SelectFromModel选了B、C、D，拼接后就会得到A、B、C、B、C、D，自然就有重复了。

下面给你两种实用的解决方案，第一种简单直接，第二种能保持Pipeline的自动化流程：

方案1：手动提取特征并去重 #

先分别让两个特征选择算法选出各自的特征，然后合并去重，再用这些特征训练模型：

from sklearn.feature_selection import SelectKBest, mutual_info_classif
from sklearn.ensemble import ExtraTreesClassifier
from sklearn.feature_selection import SelectFromModel
from sklearn.preprocessing import StandardScaler
import pandas as pd
import numpy as np

# 假设你的数据集是X（DataFrame格式）和y（标签）
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 1. KBest（信息增益）选择特征
kbest = SelectKBest(score_func=mutual_info_classif, k=20)  # k值可根据需求调整
kbest.fit(X_scaled, y)
kbest_selected = X.columns[kbest.get_support()]

# 2. Extra Trees + SelectFromModel选择特征
extra_tree_clf = ExtraTreesClassifier(n_estimators=100, random_state=42)
extra_tree_clf.fit(X_scaled, y)
sfm = SelectFromModel(extra_tree_clf, threshold='mean')  # 阈值可选'median'或具体数值
sfm.fit(X_scaled, y)
sfm_selected = X.columns[sfm.get_support()]

# 3. 合并特征并去重
final_selected_features = np.unique(np.concatenate([kbest_selected, sfm_selected]))

# 4. 提取去重后的特征用于模型训练
X_final = X_scaled[:, [X.columns.get_loc(f) for f in final_selected_features]]

# 接下来就可以用X_final训练你的分类器了

方案2：自定义Transformer整合到Pipeline #

如果想把整个流程封装到Pipeline里，避免手动处理，可以自定义一个Transformer，让它内部完成两种特征选择、合并去重的逻辑：

from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression  # 示例分类器，可替换

class DeduplicatedFeatureSelector(BaseEstimator, TransformerMixin):
    def __init__(self, kbest_selector, sfm_selector):
        self.kbest_selector = kbest_selector
        self.sfm_selector = sfm_selector
    
    def fit(self, X, y=None):
        # 分别训练两个选择器
        self.kbest_selector.fit(X, y)
        self.sfm_selector.fit(X, y)
        # 获取两个选择器的特征掩码（True表示选中）
        mask_kbest = self.kbest_selector.get_support()
        mask_sfm = self.sfm_selector.get_support()
        # 合并掩码：只要被任意一个选择器选中，就保留（去重）
        self.combined_mask = np.logical_or(mask_kbest, mask_sfm)
        return self
    
    def transform(self, X):
        # 返回去重后的特征矩阵
        return X[:, self.combined_mask]

# 构建完整Pipeline
pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('feature_selection', DeduplicatedFeatureSelector(
        kbest_selector=SelectKBest(mutual_info_classif, k=20),
        sfm_selector=SelectFromModel(ExtraTreesClassifier(n_estimators=100), threshold='mean')
    )),
    ('classifier', LogisticRegression())  # 替换成你要用的模型
])

# 训练和预测
pipe.fit(X, y)
y_pred = pipe.predict(X_test)

额外说明 #

• 如果你的需求是只保留两种算法都选中的特征（交集），只需要把自定义Transformer里的np.logical_or改成np.logical_and就行。
• 两种方案的核心都是先获取各自的特征选择结果，再通过掩码或列名去重，避免FeatureUnion的直接拼接导致重复。

内容的提问来源于stack exchange，提问作者MLDS