Caffe中lr_mult=0的层反向传播时是否仍会计算梯度？

首先直接回应你的核心疑问：

Caffe在反向传播阶段会为学习率为0（lr_mult=0）的层计算梯度，只是不会对这些层的参数进行更新。

为什么lr_mult=0没带来训练耗时的变化？ #

你设置lr_mult=0冻结底层卷积层后，迭代时间没有显著差异，核心原因在于：

• 训练过程中最耗时的环节之一是卷积层的反向梯度计算，而lr_mult=0只是控制参数更新时的学习率缩放，并不会跳过梯度计算步骤。
• 反向传播的流程和参数更新是独立的：前向传播完成后，Caffe会从输出层开始逐层反向计算梯度，只要层处于可训练状态（默认所有带参数的层都是可训练的），不管lr_mult设置为多少，梯度都会被计算出来。只是在参数更新阶段，这些层的参数变化量会被lr * lr_mult缩放为0，最终参数保持不变，但梯度计算的开销已经产生了。

如何真正通过冻结层节省训练时间？ #

如果想通过冻结底层卷积层减少训练耗时，你需要让Caffe跳过这些层的反向梯度计算，可以尝试以下方法：

• 在网络配置文件（prototxt）中，将这些卷积层标记为非训练状态：对于你使用的Faster R-CNN Caffe实现，可给目标层添加trainable: false参数，这会让层直接跳过反向传播的梯度计算环节。
• 也可以手动在代码中标记这些层的权重为固定值，禁用它们的反向传播逻辑，比如在Backward函数中跳过对应层的梯度计算步骤。

内容的提问来源于stack exchange，提问作者movili