L2正则化为何平滑损失曲面？L2权重衰减未使样本内MSE单调上升？

咱们先拆解一下L2正则化后的损失函数：它是原本的任务损失（比如分类交叉熵、回归MSE）加上一个权重平方和的惩罚项，公式大概是 L_total = L_task + λ * sum(w²)，这里的λ就是权重衰减率。

那为什么这会让损失曲面变平滑呢？核心原因有两个：

• 首先，L2惩罚会抑制权重的极端取值。当权重变得很大时，惩罚项会急剧增大，相当于给模型“刹车”，不让它往能让任务损失急剧波动的方向走。这样一来，损失曲面上那些陡峭的“山峰”和“峡谷”就被磨平了——毕竟极端权重对应的区域惩罚太高，模型不会往那边靠。
• 其次，从梯度的角度看，L2项的梯度是2λw，这相当于给每个权重加了一个指向原点的“拉力”。在训练时，权重的更新不仅受任务损失梯度的影响，还会被这个拉力往中间拉，使得权重的变化更平缓，对应的损失曲面自然也就少了很多尖锐的起伏，变得更平滑。

简单说，L2正则化就像给损失曲面盖了一层“缓冲垫”，把那些剧烈波动的地方都给压平了，让模型在训练时更稳定。

你这个观察挺有意思的，和直觉里“正则化越强，模型拟合能力越弱，样本内MSE越高”的预期不符，但其实背后有几个合理的原因：

• 局部最优的跳出与更优解的找到：当你用小λ收敛后的权重去初始化大λ的模型时，相当于在新的损失曲面（惩罚更重）上从一个“旧最优”出发继续训练。原来的小λ模型可能只是陷入了一个次优的局部最小值——这个点在小惩罚下是最优，但在大惩罚的曲面里，周围可能存在一个损失更低的点（同时权重更小）。训练过程中，大λ的惩罚会推着权重移动，刚好跳出原来的局部坑，找到这个更好的点，自然样本内MSE就降下来了。
• 噪声拟合的反向修正：小λ的模型可能已经开始拟合训练数据里的噪声了——这时候它的样本内MSE虽然低，但其实是“虚假”的（因为拟合了噪声）。当你增大λ，权重被约束，模型被迫放弃对噪声的拟合，转而专注于数据里的真实模式。这时候可能会出现一种情况：原本拟合噪声带来的MSE下降其实是不稳定的，而专注真实模式后，模型找到了一个更简洁但对真实信号拟合更好的解，反而让样本内MSE进一步降低（尤其是如果原来的噪声拟合其实引入了额外的误差波动的话）。
• 损失曲面的形状改变：L2惩罚会重塑整个损失曲面的形态。当λ增大时，原来的损失曲面的局部最优可能会消失，或者被合并成更宽的最优区域。在这个新的曲面里，最优解的任务损失可能比原来小λ时的最优解还要低——听起来反直觉，但数学上是可能的，因为惩罚项的加入不仅是“加了个负担”，更是改变了整个优化目标的地形。

当然，当λ大到让所有权重都归零的时候，模型就退化成了输出训练集均值的常数模型，这时候样本内MSE肯定会上升到均值对应的水平，但在中间的λ调整过程中，出现MSE下降的情况完全是合理的。

内容的提问来源于stack exchange，提问作者generic_user