CNTK迁移学习示例在Geforce 960M上运行时出现CUDA内存不足

你的Nvidia Geforce 960M只有2GB专用显存，跑CNTK的迁移学习示例时出现内存不足是很常见的情况——这类基于预训练模型的任务本身就对显存要求不低。下面是几个实用的解决办法，按优先级排序：

• 减小Mini-batch Size
  这是最快速有效的方案。打开TransferLearning.py，找到设置批量大小的代码（通常类似minibatch_size = 32这样的行），把数值改成更小的，比如16、8甚至4。示例修改：

  minibatch_size = 8  # 从默认值调低，降低单次训练的显存占用
  

  更小的批量会减少单次训练时加载到显存的数据量，虽然训练速度会稍有下降，但能直接解决内存溢出问题。

• 关闭后台显存占用程序
  打开任务管理器（或者用命令行运行nvidia-smi）查看当前GPU显存的占用情况，关掉那些不需要的、占用显存的程序——比如开启了硬件加速的浏览器、其他GPU应用，甚至是后台的NVIDIA控制面板相关进程，能腾出不少显存空间。

• 优化模型与训练配置

  1. 尝试加载更轻量化的预训练模型：如果示例里默认用的是较大的模型（比如ResNet50），可以换成更小的模型变体（比如ResNet18），不过需要对应修改代码里的模型加载逻辑。
  2. 开启混合精度训练：如果你的CNTK版本支持，可以启用FP16（半精度）训练，这样模型参数和计算数据会占用更少显存。你可以在初始化设备时添加相关配置：

     cntk.device.set_default_device(cntk.device.gpu(0), use_fp16=True)
     

  3. 手动清理显存缓存：在训练循环的适当位置（比如每个epoch结束后）添加显存清理代码，释放无用的内存：

     import cntk
     # 在训练循环的epoch结束后插入
     cntk.device.try_gc()
     

• 排查代码中的显存泄漏
  检查代码里有没有重复创建模型、张量却没有及时释放的情况，比如在循环里重复定义变量导致显存累积。可以逐步注释掉部分代码，定位是哪一步导致显存爆掉。

提示：修改配置后，先跑一小段训练测试，用nvidia-smi实时监控显存变化，确认是否还会出现内存不足的情况。

内容的提问来源于stack exchange，提问作者wmaney