PyTorch训练报CUDA显存不足，但各部分显存总和未达上限是什么原因？

• 显存碎片化（核心原因）

CUDA显存分配要求申请的空间必须是连续的物理显存块。报错中显示的5.13 GiB是当前所有零散空闲显存的总大小，而非单个连续空闲块的容量。当前GPU显存已经被分散的占用项切割为多个小的空闲块，最大的单个连续块小于你本次要申请的5.37 GiB，因此即使总空闲量接近需求，依然会触发显存不足报错。

• 未被统计的隐形显存占用
  你统计的数值没有包含以下几部分显存开销：
  • CUDA驱动、cuDNN/BLAS等计算库的上下文预留显存，这部分开销不会单独体现在nvidia-smi的进程显存占用、或是PyTorch的已分配/预留显存统计项中
  • 若你开启了显存ECC校验功能，也会占用固定比例的显存空间，你看到的7.79 GiB已经是扣除固件、校验等固定开销后的用户可用总显存，不存在额外未计入的标称空间
• 单位换算误差
  你计算时将5.13 GiB直接换算为5130 MiB，实际GiB和MiB的换算系数为1024，5.13 GiB≈5253 MiB。重新计算总占用为168+363+161+742+792+5253≈7479 MiB，已经非常接近7.79 GiB（≈7977 MiB）的总可用容量，叠加上述隐形开销后就会超出显存上限。

• 降低batch size，优先减少单步训练需要的连续显存大小
• 训练开始前调用torch.cuda.empty_cache()清理PyTorch持有的空闲显存块，缓解显存碎片化问题
• 关闭不需要的图形进程（如Xorg、gnome-shell），释放额外的连续显存空间
• 开启梯度检查点、混合精度训练等优化手段，降低训练全程的显存需求

内容的提问来源于stack exchange，提问作者100Large