如何评估运行神经网络模型所需的GPU显存？以EfficientNetB3为例

首先明确核心疑问：权重文件大小≠运行时显存占用 #

磁盘中187MB的EfficientNetB3权重文件只存储了模型的参数值，完全不代表运行时只会占用187MB显存，实际运行显存会远高于这个数值。

GPU显存占用主要分为四大类，只有第一类和权重文件直接相关：

• 模型参数占用：即权重和偏置的总大小，和权重文件大小对应，具体数值和精度挂钩：FP32精度每个参数占4字节，FP16占2字节，INT8占1字节。187MB的EfficientNetB3权重是FP32精度的参数大小，如果切到FP16推理，参数部分只占约94MB。
• 中间特征图/激活值占用：这是推理和训练时显存占比很高的部分，输入数据经过每一层网络运算输出的特征图都需要暂存在显存中，占用大小和输入尺寸、batch size、网络深度直接相关。
• 梯度与优化器状态占用（仅训练场景）：训练时需要存储每个参数的梯度，以及优化器的中间状态（比如Adam的一阶动量、二阶动量），这部分占用通常是参数本身大小的2~3倍。
• 固定开销：包括CUDA上下文、深度学习框架的缓存、输入数据本身的显存占用等，通常在几百MB到1GB左右，和CUDA版本、框架类型有关。

推理场景（仅预测，无反向传播） #

总显存≈ 模型参数占用 + 单batch所有中间特征图总占用 + 固定开销
特征图占用计算方式：所有层输出特征图的总元素数 × 单元素字节数 × batch size
以EfficientNetB3为例，默认输入尺寸300×300，FP32精度，batch size=1时，所有层特征图总元素数约1.5亿，对应特征图占用约600MB，加上187MB参数和几百MB固定开销，总占用在700~900MB左右。如果batch size升到8，仅特征图部分就会涨到约4.8GB，总显存占用会到5~6GB。

训练场景（含反向传播和参数更新） #

总显存≈ （参数占用 + 梯度占用 + 优化器状态占用） + （特征图占用 + 反向传播中间暂存值占用）× batch size + 固定开销
还是以EfficientNetB3为例，FP32精度、Adam优化器、batch size=8的情况下，参数+梯度+优化器状态总占用约750MB，特征图+反向传播暂存值总占用约7GB，加上固定开销，总显存占用在8_{10GB左右。如果开启混合精度训练，总占用可以降到4}6GB。

内容的提问来源于stack exchange，提问作者Exterminant