PyTorch训练1轮报Trying to backward through the graph错误怎么修复

报错根因 #

该报错是PyTorch计算图生命周期管理导致的：默认调用loss.backward()后会释放本次前向传播生成的计算图，你的代码存在两处跨轮次计算图意外绑定的问题，你尝试添加的retain_graph=True无法解决该问题——这个参数仅用于保留当前轮次的计算图，无法解决跨轮次绑定问题，反而会额外占用显存，不需要保留。
两个核心问题如下：

• 直接将带完整计算图的loss张量存入loss_list，导致上一轮epoch的计算图无法被正常释放，第二轮反向传播时会尝试遍历已经被部分释放的旧计算图触发报错
• 传入的训练目标output如果是其他模型/前向计算的输出，本身自带梯度计算图，计算损失时会将旧计算图和当前训练的计算图绑定，反向传播时触发重复计算报错

具体修复步骤 #

步骤1：修改loss存储逻辑，仅保存loss的数值 #

将loss_list.append(loss)改为存储loss的标量值，切断和计算图的关联：

# 直接存Python标量，适合后续画损失曲线等场景
loss_list.append(loss.item())
# 如果需要保留张量格式也可以用detach
# loss_list.append(loss.detach())

步骤2：传入训练目标时切断其自带的计算图 #

调用train_model时，对目标参数做detach处理：

loss_output = train_model(student_1, positions, output.detach())

可选优化（非强制） #

如果你不需要对输入positions求梯度，可以去掉两处手动设置requires_grad = True的代码，避免不必要的梯度计算：

• 去掉train_model函数内的train_input.requires_grad = True
• 去掉调用前的positions.requires_grad = True

验证修复 #

修改完成后重新运行代码，即可正常跑完所有epoch，不会再出现计算图重复反向的报错。

内容的提问来源于stack exchange，提问作者RomPal