GPU缓存内存充足却无法分配：VGG16训练CUDA内存溢出问题

针对你遇到的RuntimeError: CUDA out of memory问题，结合你的代码和场景，我整理了几个针对性的解决思路，你可以逐一尝试：

1. 避免GPU张量累积导致的内存泄漏 #

你在循环中不断把output[:, target]（GPU上的张量）append到log_liklihoods列表中，这些张量会因为被列表持续引用而无法被PyTorch自动释放。随着迭代次数增加（到第157次时），累积的GPU内存占用会越来越大，最终触发OOM错误——这也是为什么你明明看到有缓存内存却无法分配的原因，缓存内存可能被这些未释放的张量占用了。

解决方法：

• 方案一：将张量移到CPU后再存储，避免占用GPU内存：

  log_liklihoods.append(output[:, target].cpu())
  

  后续拼接时再移回GPU即可，但注意拼接操作尽量在CPU完成后再转GPU，减少GPU临时内存占用。

• 方案二：直接在循环中累加计算均值，不存储所有batch的张量：

  total_log_likelihood = 0.0
  batch_count = 0
  for i, (input, target) in enumerate(dl):
      if i > num_batch:
          break
      input = input.cuda().float()
      target = target.cuda()  # 统一设备，避免索引时的额外开销
      output = F.log_softmax(self.model(input), dim=1)
      # 直接计算当前batch的log likelihood均值并累加
      batch_log_likelihood = output[range(output.size(0)), target].mean().item()
      total_log_likelihood += batch_log_likelihood
      batch_count += 1
  # 最后再构造GPU上的总log likelihood张量
  log_likelihood = torch.tensor(total_log_likelihood / batch_count, device='cuda')
  

  这种方式只需要存储一个CPU数值，完全不会累积GPU张量，能大幅降低内存占用。

2. 检查register_buffer的重复注册问题 #

每次调用_update_fisher_params时，你都会给模型注册新的buffer（比如_buff_param_name+'_estimated_fisher'）。如果这个函数被多次调用（比如每个任务/迭代都执行一次），模型会积累大量的buffer，这些buffer都存储在GPU上，持续占用内存。

解决方法：
注册新buffer前，先检查并删除已存在的同名buffer：

for _buff_param_name, param in zip(_buff_param_names, grad_log_liklihood):
    buff_name = _buff_param_name+'_estimated_fisher'
    if hasattr(self.model, buff_name):
        delattr(self.model, buff_name)
    self.model.register_buffer(buff_name, param.data.clone() ** 2)

或者改用一个独立的字典来存储这些Fisher估计值，不与模型绑定，更方便手动管理内存。

3. 优化梯度计算的内存占用 #

你使用的PyTorch 1.3.1版本相对较旧，CUDA内存管理的优化不如新版本完善。计算梯度时产生的临时张量可能不会被及时释放，导致内存池被占满。

解决方法：

• 优先升级PyTorch到较新版本（比如1.7+），新版本对CUDA内存泄漏和内存池管理做了很多优化，能有效缓解这类问题。
• 在梯度计算完成后，及时手动释放梯度张量：

  grad_log_liklihood = autograd.grad(log_likelihood, self.model.parameters())
  # 处理完梯度后，手动清空
  for grad in grad_log_liklihood:
      grad.detach_()
  del grad_log_liklihood
  torch.cuda.empty_cache()
  

4. 其他细节优化 #

• 确保target张量也移到GPU上：你当前的target是在CPU上的，output[:, target]会触发CPU到GPU的隐式拷贝，产生额外的临时张量，增加内存占用。
• 关闭不必要的梯度追踪：在不需要计算梯度的代码块外加上torch.no_grad()，避免意外的梯度追踪占用内存。

内容的提问来源于stack exchange，提问作者Muhammad Arslan