Google Colab Pro+的GPU显存是多少？是否高于Colab Pro？

Colab Pro+的GPU显存配置整体显著高于普通Colab Pro，你提到的Colab Pro提供12-15GB不等显存的描述符合实际情况，该档位对应Pro用户常规分配的T4（16GB物理显存，实际可调用约15GB）、P100（16GB物理显存，实际可调用约12-14GB）显卡，资源紧张时Pro用户还可能被分配到8GB显存的K80显卡，很容易触发训练时显存崩溃。

Pro+版本的显存相关配置如下：

• 最高优先级分配40GB显存版本的A100显卡，实际训练可调用显存约38-39GB，可支撑7B参数模型4bit微调、常规batch size下的大尺寸计算机视觉模型训练，显存溢出崩溃概率远低于Pro版本
• A100资源紧张时，Pro+用户会被分配32GB显存的V100显卡，实际可调用显存约30-31GB，显存容量为普通Pro版本常规档位的2倍左右
• Pro+用户的资源调度优先级远高于Pro用户，不会出现被分配到8GB K80显卡的情况，显存下限远高于Pro版本

暂时不升级Pro+的情况下，可通过以下操作缓解Pro版本的显存崩溃问题：

• 训练开启自动混合精度，PyTorch框架可直接调用torch.cuda.amp接口，通常可降低40%-50%的显存占用
• 调小训练batch size，搭配梯度累积实现等效大batch的训练效果
• 及时删除训练流程中不需要的中间张量，定期调用torch.cuda.empty_cache()清理显存碎片

内容的提问来源于stack exchange，提问作者Ayaz Mehmood