为何在L2正则化中加入偏置项？结合代码实现的疑问解析

Great question! Let's unpack why this code includes bias terms in L2 regularization, even though it's not the standard practice.

First, let's recap the key part of your code that applies L2 regularization:

# L2 loss includes both weights AND biases
l2_loss = tf.nn.l2_loss(W1) + tf.nn.l2_loss(b1) + tf.nn.l2_loss(W2) + tf.nn.l2_loss(b2)
cross_entropy = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(labels=y_, logits=y))
regularized_cross_entropy = cross_entropy + beta * l2_loss

1. 常规做法：为什么我们通常跳过偏置项 #

大部分教程和框架（比如TensorFlow、PyTorch）默认只对**权重矩阵（W）**应用L2正则化，而不处理偏置项（b），主要有几个原因：

• 偏置项是每个神经元的单值偏移量，不像权重那样负责输入特征之间的交互，参数数量少得多，远不如权重容易引发过拟合。
• 正则化偏置可能会限制模型拟合数据基线的能力。比如如果你的样本标签整体偏向某一类，被正则化的偏置可能无法充分调整来捕捉这个趋势。

2. 这段代码为何包含偏置项的L2正则化 #

并没有严格规则禁止正则化偏置项，开发者这么做可能有以下几种原因：

• 代码简洁性：不用特意区分权重和偏置，直接把所有可训练变量都纳入L2损失计算，对于小型模型来说，这种做法通常不会对性能造成明显负面影响。
• 针对过拟合的特殊考量：如果模型的偏置参数数量很多（比如nNodes1或nLabels数值很大），或者开发者发现偏置值变得异常大（导致输出不稳定），对偏置施加正则化可以帮助约束模型复杂度。
• 实验性选择：有时候从业者会尝试正则化所有参数，看是否能提升模型的泛化能力，尤其是在数据集较小或噪声较多的场景下。

3. 这种做法对模型的影响 #

• 正则化偏置会让偏置值更趋近于0，使得模型的输出基线更保守。
• 如果你的数据集本身有明显的偏移（比如大部分样本标签偏向某一类），过度正则化偏置可能导致模型拟合不足。你可以对比测试两种方案（包含/不包含偏置正则化）的验证准确率，选择更适合的方式。

内容的提问来源于stack exchange，提问作者python