PyTorch中使用torch.no_grad加速训练后模型不收敛的原因是什么

你代码的核心问题是对torch.no_grad()的作用机制理解有误，具体错误点如下：

• torch.no_grad()上下文管理器的核心作用是完全阻断上下文内所有运算的计算图构建逻辑，所有运算的梯度依赖关系都不会被记录。你在该上下文内执行model(data)得到输出out时，out和模型各层参数之间的梯度回传链路从根上就没有建立，哪怕后续手动给out设置requires_grad = True，也只能让out本身参与后续loss计算的梯度记录，梯度根本无法回传到模型参数上，等于每次反向传播都没有对模型参数产生有效更新，自然无法收敛。
• 你观察到的训练速度提升，本质就是省掉了训练阶段必须的计算图构建开销，相当于为了减少负重扔掉了必须的补给，速度提升的代价是完全丧失了模型训练的核心能力。

合法的训练提速方案 #

如果要在不影响训练效果的前提下提升速度，可以采用以下方案：

• 使用torch.cuda.amp提供的混合精度训练能力，在保证梯度正常传播的前提下，降低显存占用、提升大矩阵运算的速度
• 优化DataLoader配置，根据CPU核心数调大num_workers、开启pin_memory=True，减少数据加载的耗时瓶颈
• 合理调大batch size，充分占满GPU算力，避免算力闲置
• 仅在验证、测试阶段使用torch.no_grad()，该接口本来就是为不需要梯度更新的推理场景设计的，不要用在训练阶段的前向传播流程中。

内容的提问来源于stack exchange，提问作者Crazylov3