为何torch.cuda.memory_allocated与nvidia-smi显存占用差异显著？

一、理论特征图与torch.cuda.memory_allocated的2倍差距 #

你计算的理论特征图显存仅统计了前向传播输出的特征张量本身，但PyTorch在训练模式（默认开启）下，会自动为反向传播保留所有参与梯度计算的中间张量——这些中间张量的总大小和前向特征图几乎一致，两者叠加就导致torch.cuda.memory_allocated的数值接近理论值的2倍。

以VGG16为例，前向传播生成的每一层特征图，都会被存储下来用于后续反向传播时计算梯度（比如卷积层的输入、输出激活值），这部分存储是理论计算未覆盖的，但会被torch.cuda.memory_allocated如实统计，最终就出现了4450MB→8952MB的近似2倍差距。

二、torch.cuda.memory_allocated与nvidia-smi的显存差异 #

nvidia-smi和PyTorch的显存统计维度完全不同：

• torch.cuda.memory_allocated仅统计实际被张量（模型参数、特征图、梯度等）占用的显存，不包含PyTorch缓存分配器预留的空闲显存、CUDA驱动上下文、第三方库（如cuDNN）的临时缓存。
• nvidia-smi统计的是整个GPU进程的全部显存占用，包括：
  • PyTorch提前申请的显存池：为了避免频繁向CUDA申请/释放显存，PyTorch会预先分配一块较大的显存池，即使其中部分未被张量使用，也会被nvidia-smi计入。
  • 优化器的状态张量：比如Adam优化器会为每个模型参数维护动量（m）和二阶矩（v）两个额外张量，这部分显存占用会被nvidia-smi统计，但你可能没在计算中考虑到。
  • CUDA上下文开销：GPU驱动、cuDNN等库初始化时会占用一定显存，这部分也属于进程总显存的一部分。

你的测试中nvidia-smi数值约为torch.cuda.memory_allocated的2倍，大概率是显存池预留的空间加上优化器状态、CUDA上下文的开销，叠加后达到了这个比例。

额外验证建议 #

• 切换到评估模式（model.eval()）再跑前向传播，此时PyTorch不会保留反向传播的中间张量，torch.cuda.memory_allocated会接近你计算的理论特征图大小，验证中间张量的影响。
• 使用torch.cuda.memory_reserved()查看PyTorch缓存池的总预留显存，这个数值加上torch.cuda.memory_allocated，会更接近nvidia-smi的统计结果。

内容的提问来源于stack exchange，提问作者core_not_dumped