用于MRI痴呆扫描分类的PyTorch CNN初始化时因内存耗尽失败
痴呆类/非痴呆类MRI分类CNN初始化内存溢出解决方案
问题根因定位
24GB内存申请报错的核心原因是池化层参数配置错误导致全连接层输入维度爆炸,和模型层数多少没有直接关系。
按照当前代码的参数逐行计算特征图尺寸变化即可复现问题:
- 所有卷积层为
3*3卷积、无padding、步长1,每经过1个卷积层,特征图的高、宽尺寸各减少2个像素 - 所有最大池化层为
2*2核、步长1、无padding,每经过1个池化层,特征图的高、宽尺寸仅减少1个像素,完全没有发挥池化层的降维作用
最终经过10个卷积层、3个池化层后,输出特征图的尺寸为512通道、193高、121宽,拉平后的单样本特征维度为512*193*121 = 11956736。
接在这个维度上的第一个全连接层(输出维度512),仅权重矩阵就需要存储512 * 11956736 * 4字节(float32)= 24487395328字节,也就是报错里提示的24GB内存需求,远超8GB物理内存的承载上限。
同配置下Sajjad等人2018年的高复杂度CNN可以正常运行,核心原因是这类模型不存在维度爆炸的问题:哪怕模型有几十层卷积,卷积层的总参数量通常也只有几十MB,真正消耗内存的是无意义的超大维度全连接层。
针对性修复方案
- 修正所有最大池化层的步长参数,将池化步长从
1调整为2,使用和核尺寸匹配的步长实现降维。修改后每个池化块的特征图尺寸会直接减半,全连接层的输入维度会下降两个数量级,单是这一项修改就能把全连接层的内存需求从24GB降到几十MB级别,完全适配8GB内存的运行环境。 - 给所有卷积层补充
padding=1的边距配置,避免卷积过程中MRI图像边缘的脑区信息被过度裁切,同时方便统一控制特征图尺寸,减少无意义的维度衰减。 - 可替换最后一层拉平接全连接的结构,改用全局平均池化(
nn.AdaptiveAvgPool2d((1,1)))将卷积输出的空间特征压缩为通道维度的全局统计值,再接全连接层。这种结构下不管前面卷积层输出的空间尺寸多大,全连接层的输入维度永远等于最后一层的通道数,从根本上杜绝维度爆炸的问题,模型总参数量会压到百万级别,哪怕在CPU上也能流畅运行。 - 模型初始化探测输入时,不要用超大尺寸的随机张量全程在CPU上计算,探测过程产生的中间特征临时缓存也会额外占用内存,可在探测时开启推理模式临时关闭梯度计算,减少额外内存开销。
内容的提问来源于stack exchange,提问作者Jack Diskin
相关产品推荐
相关产品推荐

