多元线性回归特征选择：如何筛选入模特征？

针对你当前已完成相关性热力图绘制的300样本回归数据集，可以按照从粗到精的逻辑逐层筛选特征，避免要么漏选有效信息、要么把噪声特征误纳入模型的问题：

第一步：基于相关性分析的初步粗筛 #

这一步可以直接复用你已经完成的相关性热力图结果，不需要额外重复计算：

• 先标记弱相关特征：如果单个输入特征和目标变量的皮尔逊相关系数绝对值低于预设阈值（通常取0.1），先将其纳入待核验清单，不要直接删除——因为单变量相关性低不代表该特征和其他特征组合后没有解释力，只是优先核验
• 再排查强共线特征：如果两个输入特征之间的皮尔逊相关系数绝对值超过0.7，说明二者存在较强的信息重叠，这类特征不要全部纳入模型，优先保留和目标相关性更高、实际生产中更容易稳定获取的那个，避免多重共线性导致回归系数估计失真、方差放大
  注：你当前用make_regression生成的默认独立特征数据集，特征间的相关系数通常接近0，初始共线性风险很低，可以跳过强共线排查环节直接进入下一步

第二步：基于回归统计量的显著性核验 #

把所有粗筛后剩下的特征送入基础线性回归模型，结合输出的统计量判断特征的必要性：

• 查看每个特征对应的t检验p值：如果p值高于常用的0.05显著性水平，说明该特征对目标的解释力在统计上不显著，无法证明其和目标的关联不是随机噪声导致的，可将其作为优先剔除候选
• 这一步不能直接按照p值一刀切删特征：如果高p值是因为特征间共线性稀释了系数估计导致的，删特征反而会丢失有效信息，需要结合后续性能测试确认

第三步：基于泛化性能的迭代精筛 #

这是比单看p值更稳的筛选方式，尤其适合你当前300样本的中小数据集场景：

• 采用前向选择逻辑：从空模型开始，每次把能让交叉验证集性能提升最大的特征纳入模型，直到新增任何特征都无法带来验证集性能提升
• 或者采用后向消除逻辑：从全特征模型开始，每次把对验证集性能负面影响最小的特征剔除，直到再删任何特征都会导致模型性能明显下降
• 所有性能判断必须基于交叉验证或独立验证集的结果，不能用训练集的拟合R²做判断，否则很容易把带噪声的偶然关联特征误纳入最终模型

第四步：可替代的自动筛选方案 #

如果不想手动迭代筛选，可以直接通过带正则的线性回归模型自动完成特征选择：

• 用Lasso回归（L1正则）的系数压缩特性，将完全无效特征的系数直接压缩到0，最终保留下来的非零系数对应的特征，就是模型自动筛选出的有效特征
• 如果数据集存在少量共线特征，可以用弹性网模型结合L1和L2正则的效果，既自动筛选无用特征，又缓解共线性带来的估计偏差，比单独用Lasso的稳定性更强

关键避坑提醒

• 绝对不能只靠单变量相关性就敲定最终入模特征：多元线性回归的系数是控制其他所有特征不变后的净效应，单变量相关结果和偏回归系数的结论可能存在明显差异
• 不要为了追求训练集上的高R²硬塞弱相关特征：最终模型需要平衡解释性和泛化能力，入模特征越少、逻辑越清晰，模型上线后的稳定性往往越高
• 你当前的数据集是无缺失、无异常值的理想场景，真实业务数据集需要先完成缺失值处理、异常值清洗，再开展特征筛选，否则筛选结果没有实际参考价值

内容的提问来源于stack exchange，提问作者Yumurtlayan_Balina