为何sklearn SelectFromModel的estimator_.coef_返回二维数组？附相关疑问

一、多分类模型coef_返回二维数组的原因 #

在sklearn的多分类任务中，SVM和LogisticRegression默认采用**一对多（One-vs-Rest）**策略：

• 你有6个类别（3、4、5、6、7、8），就会训练6个二分类器，每个分类器负责区分一个类别与其他所有类别。
• 每个二分类器都会输出一组对应11个特征的系数，所以最终coef_会是一个(6,11)的二维数组——每行对应一个类别的二分类器系数。

如果想得到单组特征重要性分数，可以对每个特征的所有类别系数做聚合处理，比如取绝对值的均值：

import numpy as np
# 假设clf是训练好的多分类模型
feature_importance = np.mean(np.abs(clf.coef_), axis=0)

这样就能得到11个特征的重要性列表。

二、SelectKBest与SelectFromModel的差异 #

SelectKBest #

• 核心逻辑：基于单特征统计检验，完全独立于后续建模流程。对每个特征单独计算和目标变量的统计关联度（比如卡方检验、F值），然后挑选得分最高的K个特征。
• 特点：计算速度快，只关注单个特征与目标的直接关系，不考虑特征间的相互作用，适合快速做初步特征筛选。

SelectFromModel #

• 核心逻辑：基于模型输出的特征重要性，依赖于能输出特征权重的模型（比如树模型、线性模型）。根据模型给出的coef_或feature_importances_，按设定阈值筛选特征。
• 特点：会考虑特征间的相互作用（因为模型训练时会学习特征组合的影响），但筛选结果高度依赖所选模型的质量，换不同模型可能得到完全不同的特征集合。

内容的提问来源于stack exchange，提问作者user6703592