在TensorFlow中为模型添加Weight Decay的最优方式及配置位置疑问

我正尝试为我的模型添加Weight Decay（又称L2正则化），目前了解到两种实现方式，但不确定哪种正确：

1. 在Keras层中通过kernel_regularizer定义：

model = tf.keras.Sequential(
    [
        tf.keras.Input(shape=input_shape),
        tf.keras.layers.Rescaling(scale=1.0 / 255),
        hub.KerasLayer(HUB_URL, trainable=False),
        tf.keras.layers.Dropout(rate=dropout_rate),
        tf.keras.layers.Dense(
            num_classes,
            activation="softmax",
            kernel_regularizer=tf.keras.regularizers.l2(weight_decay),
        ),
    ]
)

2. 在优化器中设置weight_decay参数：

tf.keras.optimizers.Adam(learning_rate=learning_rate, weight_decay=weight_decay)

请问应该在何处设置Weight Decay？是否需要同时配置两者？

核心区别与选择建议 #

• 两种方式的本质差异

  1. 层内kernel_regularizer：只对当前层的可训练权重（比如Dense层的kernel）施加L2正则，属于正则项直接加入损失函数的传统实现，会和模型的训练损失共同参与梯度计算。
  2. 优化器中的weight_decay：属于权重衰减实现，是在参数更新环节直接对权重进行缩放，作用范围覆盖模型所有可训练参数（包括各层的kernel、bias等，只要标记为trainable=True）。

• 如何选择？

  • 若仅需给特定层（比如示例中的最后一层全连接层）施加正则约束，用kernel_regularizer更精准，还能为不同层设置不同的正则强度。
  • 若要给整个模型的所有可训练参数统一施加权重衰减，用优化器的weight_decay更便捷，无需逐个层单独配置。

• 注意：绝对不要同时配置两者
  这会让参数受到双重约束，正则/衰减效果叠加，大幅限制模型的拟合能力，甚至直接导致欠拟合。

内容的提问来源于stack exchange，提问作者Fred