递归特征消除（RFE）的基础算法及特征取舍判定逻辑问询

一、RFE依赖的基础算法 #

RFE本身并非独立的机器学习算法，而是一个迭代式特征选择框架，它必须依托一个能输出特征权重/重要性评分的基础模型才能工作。常用的基础模型包括：

• 线性模型（如线性回归、逻辑回归）：通过特征的系数绝对值衡量重要性
• 树模型（如决策树、随机森林、XGBoost）：通过模型内置的特征重要性得分排序
• 支持向量机（SVM）：通过线性核的权重系数判断特征贡献

简单来说，你选什么模型做基础，RFE就用这个模型的特征评估结果来做筛选。

二、RFE的特征筛选逻辑 #

RFE通过“训练-剔除-再训练”的递归流程来决定保留和剔除的特征，具体步骤如下：

1. 初始训练：用全部特征训练指定的基础模型，得到每个特征的权重/重要性评分。
2. 剔除低贡献特征：根据评分排序，移除当前权重最低的一批特征（数量可以是固定值，也可以是总特征数的比例）。
3. 迭代优化：用剩余的特征重新训练基础模型，再次生成新的特征权重评分。
4. 终止循环：重复上述步骤，直到剩下的特征数量达到预设的目标值，或者模型性能不再出现明显提升时停止。

举个实际例子：如果用逻辑回归作为基础模型，第一次训练后会得到每个特征的系数，系数绝对值最小的几个特征会被剔除；接着用剩下的特征再训练逻辑回归，重新计算系数，再剔除最小的，直到剩下你想要的特征数量为止。

内容的提问来源于stack exchange，提问作者user16187988