You need to enable JavaScript to run this app.
最新活动
大模型
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

为何glmnet采用Zou & Hastie原论文中的「naive弹性网」?

弹性网回归的原始定义与优化思路

咱们先从Zou和Hastie在2005年发表的弹性网开山之作《Regularization and variable selection via the elastic net》说起:

  • 他们针对线性回归场景(已提前将所有变量中心化并标准化至单位方差),提出了弹性网损失函数:
    $$\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + \lambda_2 \lVert \beta\rVert^2_2,$$
  • 这个初始版本被他们称为*「naive弹性网」*。不过他们很快发现,这种方法因为同时叠加了套索(L1)和岭回归(L2)的双重收缩效果,很容易造成系数被过度收缩的问题。
  • 为了解决这个问题,他们提出了一个简洁的缩放优化方案:将求解得到的系数$\hat\beta$进行如下修正:
    $$\hat\beta^* = (1+\lambda_2)\hat\beta.$$
  • 他们不仅给出了这个修正方法,还提供了充分的理论推导和实验结果,证明这种缩放处理能够有效提升模型的预测性能。

不过,后续Friedman、Hastie与Tibshirani在2010年发表的glmnet论文……

内容的提问来源于stack exchange,提问作者amoeba

火山引擎 最新活动