含有序/名义分类、连续预测变量的分类任务特征选择咨询

原方案的可行性与存在的问题 #

你提出的拆分变量类型、分别做统计检验筛选的思路有基础逻辑支撑，但直接落地有几个明显缺陷：

• 卡方检验适用于检验分类变量与二分类标签的独立性，但你将有序分类、无序名义变量合并处理的做法，会直接丢失有序变量的等级顺序信息，降低检验效能；同时卡方检验对列联表中小频数单元格（期望频数<5）非常敏感，若数据集中存在高基数分类变量，很容易出现检验结果偏误。
• ANOVA检验连续变量组间差异的前提是变量满足正态分布、组间方差齐性，而贷款场景下的收入、负债比、历史逾期次数等连续变量普遍存在严重右偏、方差不齐的问题，不满足前提的情况下F检验结果可信度很低。
• 拆分变量单独检验的逻辑完全忽略了特征间的共线性问题，尤其是你提到的哑变量本身是名义变量独热编码生成的，很容易和其他分类、连续变量存在高度相关，单独筛选出的特征集冗余度高，会直接影响Logistic回归、SVM这类对共线性敏感的模型效果。
• 现有方案没有明确哑变量的处理归属，分类逻辑存在漏洞。

适配该场景的特征选择落地方案 #

你的数据集规模为13000余样本、162个特征，整体维度不高，不需要用过于复杂的筛选方法，按三步落地即可，同时适配你计划使用的三类模型：

• 第一步：分类型粗筛，剔除和标签无显著关联的特征
  • 无序名义分类变量、哑变量：优先用分类场景下的互信息做关联度筛选，该方法不要求变量满足特定分布，对小频数单元格鲁棒性更强，还能捕捉变量和标签间的非线性关联，效果比卡方检验更稳定；
  • 有序分类变量：直接计算和标签的斯皮尔曼秩相关系数，保留变量的等级顺序信息，不需要并入无序分类变量处理；
  • 连续变量：先验证正态性和方差齐性，满足前提再用ANOVA，不满足的话换用曼-惠特尼U非参数检验，或者直接用互信息做关联度计算，避免分布不符带来的结果偏差。
    这一步可以先剔除关联度排名靠后、统计检验不显著的特征，通常能筛掉20%-30%的无效特征。
• 第二步：共线性剔除
  对粗筛保留的特征统一做编码处理（有序变量做标签编码、连续变量做标准化、哑变量保持原值），计算方差膨胀因子VIF，逐个剔除VIF值大于10的高共线性特征，剔除时优先保留和标签关联度更高的变量，降低特征冗余度，提升LR、SVM的训练稳定性。
• 第三步：结合模型特性做精筛
  三类模型的原理差异较大，不需要强求一套特征适配所有模型：
  • 针对Logistic回归：共线性处理后直接加L1正则化做嵌入式特征选择，剔除正则化后系数被压缩为0的特征，筛选出的特征完全适配LR的线性假设，解释性也更强；
  • 针对SVM：如果用线性SVM，同样可以用L1正则筛选特征；如果用核SVM，搭配递归特征消除（RFE）做筛选即可，选出的特征子集更适配SVM的分类边界；
  • 针对决策树：不需要做复杂的前置筛选，树模型本身对共线性、变量分布不敏感，训练过程中会自动选择信息增益最高的特征做分裂，前置筛选过度反而容易丢失有交互价值的特征，仅保留粗筛后的特征即可。

注意：特征筛选不能完全依赖统计检验结果，所有筛选出的特征子集都要通过交叉验证，结合验证集的AUC、KS值以及违约类召回率评估效果——贷款违约场景中漏判违约用户的成本远高于误判，不要只看整体准确率选特征。

内容的提问来源于stack exchange，提问作者Sushmoy Mallik