使用Random Forest分类器无法输出最优筛选特征的技术求助

我看你遇到的问题是用RandomForest结合SelectFromModel做特征选择后，没法输出筛选出来的最优特征对吧？我之前也碰到过类似的情况，核心问题在于你可能没正确获取特征选择后的特征掩码，再映射回原数据的特征名称。下面我给你梳理完整的解决流程：

完整修正后的代码示例 #

import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.feature_selection import SelectFromModel
from sklearn.metrics import accuracy_score

# 假设你的data是已加载好的DataFrame
X = data.loc[:, 'IFATHER':'VEREP']
y = data.loc[:, 'Criminal']

# 拆分训练集与测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练基础RandomForest模型
rf_clf = RandomForestClassifier(n_estimators=100, random_state=42)
rf_clf.fit(X_train, y_train)

# 初始化特征选择器，设置阈值0.15
sfm = SelectFromModel(rf_clf, threshold=0.15)
sfm.fit(X_train, y_train)

# 关键步骤：获取被选中特征的布尔掩码
selected_mask = sfm.get_support()

# 从原特征列名中筛选出被选中的特征
selected_features = X_train.columns[selected_mask].tolist()

# 输出最终筛选出的最优特征
print("筛选出的最优特征列表：", selected_features)

# 可选：用筛选后的特征重新训练模型并评估效果
X_train_selected = sfm.transform(X_train)
X_test_selected = sfm.transform(X_test)

rf_selected = RandomForestClassifier(n_estimators=100, random_state=42)
rf_selected.fit(X_train_selected, y_train)

y_pred = rf_selected.predict(X_test_selected)
print("筛选特征后的模型准确率：", accuracy_score(y_test, y_pred))

核心问题解析 #

你之前可能漏掉了get_support()这个关键方法：

• sfm.get_support()会返回一个布尔数组，每个元素对应原特征是否被选中（True表示该特征通过阈值筛选）
• 结合原数据的列名X_train.columns，就能把布尔掩码映射为具体的特征名称，解决无法输出特征的问题

额外注意事项 #

• 确保RandomForest模型已经在训练集上完成拟合，SelectFromModel需要基于模型计算出的特征重要性来做筛选
• 阈值0.15是特征重要性的绝对值，如果你的特征重要性普遍偏低，可以考虑调整阈值，或者使用相对阈值（比如threshold='median'表示保留重要性高于中位数的特征）

内容的提问来源于stack exchange，提问作者stone rock