如何通过Pipeline整合SelectKBest/卡方/ANOVA特征选择与冗余特征去除流程

核心逻辑 #

将所有环节封装为符合scikit-learn API规范的可复用组件，串联为标准Pipeline，实现一次定义、全链路自动执行，无需手动拆分调用中间模块。

第一步：封装适配Pipeline的冗余列去除组件 #

由于Pipeline要求所有步骤必须实现标准的fit/transform接口，需要将原有自定义的去重逻辑改造为继承BaseEstimator和TransformerMixin的标准转换器：

from sklearn.base import BaseEstimator, TransformerMixin

class RemoveDuplicateColumns(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        # 训练阶段仅在训练集上识别重复列的索引，保存为实例属性
        seen_col_keys = set()
        self.drop_col_indices_ = []
        col_count = X.shape[1]
        for col_idx in range(col_count):
            # 逐列转换为可哈希的元组，兼容TfidfVectorizer输出的稀疏矩阵，避免全量转稠密矩阵造成内存溢出
            current_col = X[:, col_idx]
            col_key = tuple(current_col.toarray().ravel())
            if col_key in seen_col_keys:
                self.drop_col_indices_.append(col_idx)
            else:
                seen_col_keys.add(col_key)
        return self

    def transform(self, X):
        # 对所有输入（训练集、测试集、新样本）统一使用训练阶段确定的列索引删除冗余列，保证特征维度对齐
        keep_col_indices = [
            col_idx for col_idx in range(X.shape[1]) 
            if col_idx not in set(self.drop_col_indices_)
        ]
        return X[:, keep_col_indices]

第二步：组装全链路Pipeline #

按照业务逻辑顺序串联所有模块，直接实现文本向量化、特征筛选、冗余列去除的自动流转：

from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_selection import SelectKBest, chi2, f_classif

# 初始化Pipeline，步骤顺序固定
text_process_pipeline = Pipeline([
    # 步骤1：字符级ngram文本向量化
    ("char_tfidf", TfidfVectorizer(analyzer="char", ngram_range=(1,5))),
    # 步骤2：KBest特征筛选，可灵活切换检验函数（卡方/ANOVA）
    ("kbest_select", SelectKBest(score_func=chi2, k=5)),
    # 步骤3：自动去除重复值列
    ("remove_dup_col", RemoveDuplicateColumns())
])

使用方式 #

• 模型训练阶段：直接调用text_process_pipeline.fit(原始文本列表, 对应标签)，Pipeline会自动按顺序执行所有步骤的训练逻辑
• 新样本转换阶段：直接调用text_process_pipeline.transform(新样本文本列表)，即可直接输出处理完成的特征矩阵，无需手动依次调用各模块的转换接口
• 灵活切换检验方法：不需要修改Pipeline结构，直接通过参数调整即可切换为ANOVA检验：

  # 切换为ANOVA检验的示例
  text_process_pipeline.set_params(kbest_select__score_func=f_classif)
  

关键注意事项 #

• 步骤顺序不可调换：去冗余列的操作必须放在SelectKBest之后，否则会提前删除可能被特征筛选命中的有效特征，破坏原本的特征选择逻辑
• 去重逻辑仅在训练集上执行：所有冗余列的索引仅在fit阶段基于训练集计算，对测试集、新样本统一使用同一份索引删除，避免出现特征维度错位
• 大矩阵适配：逐列判断重复值的逻辑兼容稀疏矩阵输出，不需要将TfidfVectorizer生成的大规模稀疏矩阵全量转为稠密矩阵，避免内存溢出

内容的提问来源于stack exchange，提问作者kravi