带Softmax的生成式神经网络中L1 Activity Regularizer作用解析

你提到给生成式神经网络的最后Softmax层加上activity_regularizer=l1(1e-5)后模型效果提升，但疑惑为什么总和恒为1的Softmax输出还会受L1正则化影响，这确实是个容易让人困惑的点，我来给你拆解清楚：

首先，先纠正一个关键的理论误解：从数学定义上看，Softmax的输出每个样本的所有元素都是非负的，且总和严格为1。而L1活动正则化的计算逻辑是对层输出的所有元素的绝对值求和，再乘以正则化系数。那对于每个样本来说，这个绝对值之和就是1，整个batch的正则项就是1e-5 * batch_size——这是一个和模型参数完全无关的常数，理论上它的梯度为0，不会对参数更新产生任何直接影响。

那为什么你会观察到模型效果提升呢？可能有这几种原因：

• 数值计算的微小偏差：在实际训练中，由于浮点数的精度限制，Softmax的输出总和可能不是严格的1（比如存在1e-10级别的误差）。虽然这个误差极小，但在某些对稳定性敏感的生成式模型中，L1正则项的微小波动可能间接帮助模型收敛得更稳定，从而带来效果提升。
• 实验的随机性影响：模型训练本身带有很多随机因素，比如权重初始化、训练数据的shuffle顺序、batch的选取等。你这次添加正则项后的训练可能刚好遇到了更优的随机初始化或数据分布，效果提升其实是巧合，和正则项没有直接关联。
• 贴合生成式场景的间接作用：如果你的Softmax层输出是序列或多模态数据的概率分布（比如文本生成中每个token的概率），虽然每个位置的概率总和是1，但模型在训练时会倾向于让概率分布更“尖锐”（少数类别概率极高，其余接近0），这时候数值计算误差会更小，间接让生成结果更稳定，这可能是你感受到效果提升的原因。

总的来说，从纯理论角度，给Softmax层加L1活动正则化不会直接影响参数更新，但实际训练中的数值细节或随机因素可能让它间接带来效果提升。

内容的提问来源于stack exchange，提问作者user7867665