当预测模型间变量重要性存在差异时，如何确定关键变量？

我刚完成了一项预测建模任务，核心是找出对目标度量指标影响最大的变量，特意选了GBM和GLMNET这两个模型来做对比分析，过程中发现了一些值得分享的点：

模型性能评估：数值优势≠统计显著 #

• 训练完两个模型后，我用RMSE和R-squared来衡量它们的预测能力。单看数值的话，glmnet的表现确实更亮眼——RMSE更低，R-squared也更高；
• 但当我用统计检验（比如配对t检验或者Bootstrap差异检验）验证后，发现两个模型的性能并没有显著差异。这提醒我们：不能只看表面的数值高低，统计显著性才是判断模型优劣的关键，否则很容易被随机波动误导。

变量重要性：varImp()的差异背后 #

用varImp()函数提取两个模型的变量重要性时，我发现二者的结果存在明显分歧：

• GBM作为树基模型，它的变量重要性是基于节点分裂时的信息增益累计得到的，所以更擅长捕捉变量和目标之间的非线性关联。我观察到它把一个和目标存在强非线性交互的分类变量排在了重要性Top2；
• GLMNET是正则化线性模型，它的变量重要性基于回归系数的绝对值（经过L1/L2正则化后的贡献），更偏向于线性关联显著的变量。在它的结果里，刚才那个分类变量的重要性几乎可以忽略；
• 不过两个模型的Top5重要变量里有3个是重合的，这些变量大概率是对目标指标影响最稳定的核心因素。

实用建议 #

如果你的目标是筛选核心变量，不妨这样做：

• 优先聚焦两个模型都认定为高重要性的变量，这些是最可靠的候选；
• 对模型分歧大的变量，单独做相关性分析、绘制关联散点图，或者用简单的单变量模型验证其真实影响；
• 若后续需要部署模型，glmnet的可解释性更强、计算成本更低，而GBM的非线性拟合能力更突出——即使性能无显著差异，也可以根据场景需求选择。

内容的提问来源于stack exchange，提问作者J.Con