PyTorch实现VGG感知损失时计算特征的正确方式

最终结论 #

优先选用你提出的第一种写法，也就是用torch.no_grad()包裹GT图像的VGG特征计算逻辑，这是完全正确且更高效的实现方案。

具体原因 #

• 两种写法的计算结果完全等价：在你给定的前提（VGG参数requires_grad均设为False、且VGG处于eval()模式）下，两种写法得到的VGG特征值、最终损失值、反向传播回上游生成网络的梯度完全没有差异，不会影响训练效果。
• 第一种写法有明确的性能优势：即使VGG本身不需要更新梯度，PyTorch默认也会为所有前向计算过程保存计算图节点。GT是固定标签，其特征计算过程完全不需要参与反向传播，用torch.no_grad()包裹后，这部分计算图占用的显存会被直接释放，在高分辨率输入、大batch训练的场景下能减少可观的显存占用，同时也会略微提升前向计算速度，属于没有任何副作用的优化。
• 多数开源实现选用第二种写法只是出于开发便利：第二种写法少了缩进层级，代码写起来更简单，且很多学术实验的输入尺寸小、batch规模不大，节省的显存感知不明显，因此大部分开发者没有特意做这个优化，并不代表第二种写法更规范。

内容的提问来源于stack exchange，提问作者Mohit Lamba