使用Skopt的BayesSearchCV做特征选择时如何提取最优特征名称？

默认你的搜索任务是将特征选择组件与下游模型封装在Pipeline中传入BayesSearchCV，这也是该场景下的标准用法。

核心操作步骤 #

• 第一步：调用BayesSearchCV实例的best_estimator_属性，获取拟合完成的最优管道对象
• 第二步：从最优管道中提取你定义的特征选择器实例，比如你给特征选择步骤命名为feature_selector，则通过named_steps属性提取
• 第三步：调用特征选择器的get_support()方法，得到和原始特征长度一致的布尔数组，数组值为True对应位置的特征即为被选中的最优特征
• 第四步：用上述布尔数组索引原始特征名称列表，即可得到最优特征集合的具体名称

可直接复用的代码示例 #

from skopt import BayesSearchCV
from sklearn.pipeline import Pipeline
from sklearn.feature_selection import SelectKBest, f_regression
from sklearn.ensemble import RandomForestRegressor
import pandas as pd

# 假设你的特征数据为pandas DataFrame，X的列名即为原始特征名
X = pd.read_csv('your_data.csv').drop('label', axis=1)
y = pd.read_csv('your_data.csv')['label']
feature_names = X.columns.tolist()

# 定义带特征选择的管道，特征选择步骤命名为selector
pipe = Pipeline([
    ('selector', SelectKBest(f_regression)),
    ('model', RandomForestRegressor())
])

# 定义搜索空间，包含特征选择的超参数
search_spaces = {
    'selector__k': (10, 50),
    'model__n_estimators': (100, 500)
}

# 初始化BayesSearchCV并拟合
opt = BayesSearchCV(
    estimator=pipe,
    search_spaces=search_spaces,
    cv=5,
    n_iter=30
)
opt.fit(X, y)

# 提取最优特征名称核心代码
best_selector = opt.best_estimator_.named_steps['selector']
selected_mask = best_selector.get_support()
selected_features = [name for name, selected in zip(feature_names, selected_mask) if selected]

# 输出最优特征集合
print("最优特征：", selected_features)

补充说明 #

• 如果你用的是RFE、SelectFromModel等其他特征选择器，get_support()方法同样适用，这是sklearn特征选择类的统一接口
• 如果你没有用Pipeline封装，而是将特征数量作为独立超参数搜索，需要根据你自己定义的特征排序规则（比如按特征重要性排序），取最优数量对应的前N个特征名即可

内容的提问来源于stack exchange，提问作者user16894190