PyTorch autograd backward报错：原地操作修改梯度计算变量

问题根源 #

这个报错的核心是梯度计算依赖的张量被原地操作（in-place op）修改了。PyTorch追踪梯度时需要保留张量的历史版本，而原地操作会直接覆盖原张量的旧版本，导致梯度回溯时找不到所需的依赖项。结合你用了半精度张量（torch.cuda.HalfTensor）和混合CLIP模型的场景，大概率是在自定义损失或前向传播中，对冻结CLIP模型输出的张量做了原地修改，破坏了梯度图。

具体修复方案 #

1. 替换所有原地操作 #

排查代码里的原地操作，全部换成非原地版本：

• 把x += y改成x = x + y
• 把x.div_(y)改成x = x.div(y)
• 把x.fill_(value)改成x = torch.full_like(x, value)
• 对冻结CLIP的输出张量先clone()再操作，避免修改原张量：

  frozen_feat = frozen_clip_model(image, text).clone()
  # 后续所有运算基于clone后的frozen_feat
  

2. 按需使用retain_graph=True #

如果你的KL散度和交叉熵损失是合并成总损失后反向传播，完全不需要加retain_graph=True：

total_loss = kl_loss + ce_loss
total_loss.backward()  # 移除retain_graph参数

只有当你需要多次调用backward()（比如两个损失分别反向传播）时才需要保留计算图，但此时要确保每次反向传播前，所有张量都没有被原地修改，或者对重复使用的张量提前clone()。

3. 确认冻结CLIP的参数状态 #

确保冻结CLIP的参数确实被禁用梯度：

for param in frozen_clip_model.parameters():
    param.requires_grad = False

冻结模型的输出张量默认requires_grad=False，但如果后续操作不小心修改了原张量，还是会干扰梯度图，所以必须用副本操作。

4. 排查自动混合精度（AMP）的影响 #

报错里的HalfTensor说明你可能用了AMP。半精度张量的原地操作更容易触发这类问题，可以先禁用AMP测试：

# 暂时注释AMP相关代码
# scaler = torch.cuda.amp.GradScaler()
# with torch.cuda.amp.autocast():
#     前向传播代码

如果禁用后问题解决，再针对性调整AMP：比如对冻结CLIP的输出张量手动转换为浮点型，或者避免在AMP上下文里做原地操作。

内容的提问来源于stack exchange，提问作者sean