自定义二分类CNN训练CUDA显存不足且减少残差块无改善咨询

疑问1：减少残差块数量后报错所需显存大小不变的原因 #

你的显存不足报错触发在第一个残差块的前向传播阶段，说明此时还未执行后续的残差块逻辑，显存占用的峰值完全来自前面5个基础卷积块的输出特征图，因此调整残差块的数量不会改变此时需要分配的显存大小，报错提示的分配需求自然保持不变。

疑问2：自定义小网络比ResNet、DenseNet等大模型更占显存的原因 #

主流的ResNet、DenseNet等工业级结构会在网络浅层通过stride=2的卷积或池化层快速降低特征图的空间尺寸，避免高通道数下特征图显存占用爆炸。而你的自定义网络前5个基础卷积块全部使用默认stride=1，无任何降采样操作，通道数却从32一路上涨到256：
输入尺寸为161256256，经过前4层卷积后特征图尺寸仍保持在254254左右，通道数提升到256时，单这一层的特征图就需要占用16 * 256 * 254 * 254 * 4Byte ≈ 10.5GB显存，已经接近你11GB显存的上限，再执行后续操作自然会触发显存不足，该问题和网络总层数没有直接关系。

修复建议 #

• 在前几层基础卷积块中加入降采样逻辑，比如给conv2、conv4的卷积层设置stride=2，快速降低特征图空间尺寸
• 暂时降低batch size，从16调整为4或8验证模型逻辑是否正常
• 调整通道数增长幅度，避免在大尺寸特征图阶段使用过高的通道数
• 开启PyTorch混合精度训练，可降低约50%的显存占用

内容的提问来源于stack exchange，提问作者Eilleen