PyTorch训练CUDA内存不足求助：调小batch_size仍报错

核心问题分析 #

你遇到的PyTorch报错显存占用和nvidia-smi显示不符的情况，是因为两者统计维度不同：

• PyTorch的报错信息包含了其显存缓存池的预留空间（即使缓存没被实际使用，也会被计入预留）
• nvidia-smi只统计GPU上实际被分配的物理显存，不包含PyTorch的缓存预留

另外，你的配置中num_batch_accumulated = 4，即使batch_size=1，等效于训练时使用了1*4=4的有效batch大小——因为梯度会累积4步才更新，中间的梯度张量会持续占用显存，这是导致OOM的关键因素之一。

具体解决步骤 #

• 调整梯度累积参数：先将num_batch_accumulated改为1，验证是否还会OOM。如果问题缓解，说明梯度累积是主要显存占用来源，后续可以根据显存情况逐步调回合适的值。
• 清理显存缓存与冗余张量：
  • 在训练循环的合适节点（比如每个epoch结束后）添加：

    del some_unused_tensors  # 手动删除不再需要的中间张量
    torch.cuda.empty_cache()
    

  • 注意不要在每次step后都调用empty_cache()，会增加额外开销。
• 启用混合精度训练：这是降低显存占用最有效的方法之一，示例代码：

  scaler = torch.cuda.amp.GradScaler()
  for inputs, labels in dataloader:
      with torch.cuda.amp.autocast():
          outputs = model(inputs)
          loss = criterion(outputs, labels)
      scaler.scale(loss).backward()
      scaler.step(optimizer)
      scaler.update()
  

• 排查模型冗余计算：
  • 检查是否有冻结层未设置requires_grad=False，这会导致不必要的梯度计算和显存占用
  • 关闭训练时不需要的中间层输出保存（比如用于可视化的特征图）
• 精准分析显存占用：使用PyTorch内置工具定位问题：

  print(torch.cuda.memory_summary())  # 打印详细显存分配报告
  

  该报告能显示各类型张量的显存占用，帮你找到大显存消耗来源。
• 限制显存预留比例：如果PyTorch初始化时预留了过多显存，可在代码开头添加：

  torch.cuda.set_per_process_memory_fraction(0.8, device=0)  # 限制当前进程使用80%的GPU显存
  

• 清理残留GPU进程：用nvidia-smi查看GPU上的所有进程PID，杀掉无关的PyTorch/python进程，避免显存被占用。

内容的提问来源于stack exchange，提问作者Sarde