适配LR、SVM、RF的数值型二分类数据集适用特征选择技术推荐

1. 过滤法（Filter Methods）：快速初步降维，不依赖分类器，适合第一轮粗筛 #

• 方差选择法：优先剔除方差为0或接近0的常量/近常量特征，这类特征对分类无贡献，可设置阈值如threshold=1e-3完成筛选，数值型/分类型标签均适用
• 卡方检验：仅适配分类型标签场景，用于检验特征和分类标签的相关性，过滤与分类目标独立的特征，注意仅支持非负特征，若特征存在负值需先做归一化转非负
• 皮尔逊相关系数：适配数值型(0/1)标签场景，计算每个特征和标签的线性相关度，筛选相关度绝对值高于阈值的特征，尤其适配LR、线性核SVM这类线性分类器
• 互信息法：数值/分类标签均适用，可捕捉特征和标签之间的非线性相关性，适用范围比相关系数、卡方更广，对RF这类非线性分类器适配性更好

2. 包裹法（Wrapper Methods）：针对所用分类器定向筛选，精度更高 #

• 递归特征消除（RFE）：可分别为LR、SVM、RF三个分类器执行RFE，算法会递归训练模型，每次剔除权重/重要性最低的特征，直到剩余指定数量的特征，和你使用的三类分类器完全适配，建议搭配交叉验证版本的RFECV自动选择最优特征数，避免过拟合
• 序列特征选择：分为前向搜索（逐步添加特征）、后向搜索（逐步剔除特征）两类，适合样本量不算过大的场景，可找到针对特定分类器的最优特征子集，但计算开销高于RFE

3. 嵌入法（Embedded Methods）：模型训练过程中自动完成特征选择，开销最低 #

• L1正则化：给LR、线性SVM添加L1正则项（如scikit-learn中设置penalty='l1'），训练后无关特征的权重会被压缩为0，直接保留权重非0的特征即可，适配线性分类器同时可降低过拟合风险
• 树模型特征重要性：你使用的RF训练完成后可直接输出每个特征的重要性得分，直接筛除重要性排在末位的特征即可，不需要额外计算流程，对RF的适配性最好

实操建议 #

• 优先用过滤法把特征维度降到原有的1/2~1/3，先快速剔除大量无效特征，降低后续步骤的计算开销
• 再针对三个分类器分别运行对应的嵌入法/RFE，筛选适配单个模型的专属特征子集，通常比用通用特征子集的分类效果更好
• 全程搭配5折交叉验证验证特征子集的效果，避免筛选出的特征仅在训练集上有效

内容的提问来源于stack exchange，提问作者Zara