使用SelectFromModel时部分SVC分类器报错：无coef_/feature_importances_属性

为什么线性核SVC可以，而非线性核不行？ #

这是因为SelectFromModel的工作逻辑完全依赖模型的特征重要性指标，它只识别两种属性：

• 线性模型的coef_（特征权重系数）
• 树模型/集成模型的feature_importances_（特征重要度）

当你使用kernel='linear'的SVC时，模型本质是线性分类器，训练完成后会生成coef_属性，所以SelectFromModel能正常提取特征权重来筛选特征。

但poly、rbf、sigmoid属于非线性核，SVC用这些核时，会通过核函数把原始特征映射到高维空间做分类，这个过程不会生成coef_属性（因为不再是线性模型），而且SVC本身也没有feature_importances_属性。所以SelectFromModel找不到判断特征重要性的依据，就抛出了错误——注意，你已经完成模型拟合，报错提示里的“未拟合”是误导，核心是模型本身不具备所需的属性。

解决方案 #

这里给你几种可行的思路：

1. 换用支持feature_importances_的模型

如果你只是需要用SelectFromModel筛选特征，直接用你已经测试过的随机森林、决策树即可，它们无论什么场景都会生成feature_importances_，完美适配SelectFromModel：

clf = RandomForestClassifier(random_state=0).fit(x_train, y_train)
model = SelectFromModel(clf, prefit=True)
print(model.transform(x_train).shape)

2. 用RFE替代SelectFromModel

RFE（递归特征消除）不依赖模型的coef_或feature_importances_，只要模型有predict方法就能工作，非常适合非线性SVC：

from sklearn.feature_selection import RFE

# 初始化非线性SVC和RFE，指定要保留的特征数量
clf = SVC(kernel='rbf')
rfe = RFE(estimator=clf, n_features_to_select=10, random_state=0)
# 拟合并筛选特征
x_train_selected = rfe.fit_transform(x_train, y_train)
print(x_train_selected.shape)

3. 用排列重要性手动筛选特征

如果你一定要基于非线性SVC的结果来选特征，可以用排列重要性（Permutation Importance）计算每个特征的重要度，再手动筛选：

from sklearn.inspection import permutation_importance

# 训练非线性SVC
clf = SVC(kernel='rbf').fit(x_train, y_train)
# 计算排列重要性
perm_importance = permutation_importance(clf, x_train, y_train, n_repeats=10, random_state=0)
# 按重要度从高到低排序，取前10个特征的索引
top_feature_indices = perm_importance.importances_mean.argsort()[-10:][::-1]
# 筛选特征
x_train_selected = x_train.iloc[:, top_feature_indices]
print(x_train_selected.shape)

内容的提问来源于stack exchange，提问作者taga