咨询使用GPU训练SSD MobileNet v2模型所需RAM容量

首先，你的判断完全正确——训练进程被内核终止确实是内存（系统RAM+GPU显存）不足导致的，毕竟小数据集能正常运行，大数据集就触发Killed，这是内存耗尽的典型表现。

关于训练所需的内存参考 #

针对你3000张训练图的规模，SSD MobileNet v2的内存需求大概是这样的：

• 系统RAM：至少需要8GB才能流畅运行，4GB的话会非常紧张——因为TensorFlow会在内存中缓存训练数据、模型参数以及中间计算结果，大数据集下这些内容很容易把4GB内存撑爆。
• GPU显存：你的2GB显存也处于临界值，MobileNet v2虽然是轻量模型，但SSD的锚点生成、检测头计算还是会占用不少显存，默认的batch size（通常16或32）大概率会超出2GB的承载能力。

针对你设备的优化方案 #

结合你的硬件配置（4GB RAM + 2GB 920M），可以通过以下调整来完成训练：

1. 降低GPU显存占用

• 减小batch size：找到你的pipeline配置文件（比如pipeline.config），把batch_size从默认值改成4或者8——这是最有效的显存优化手段，显存占用会直接按比例降低。
• 开启显存动态分配：在train.py的会话配置里添加这段代码，让TensorFlow只按需分配显存，而不是一开始就占满2GB：

  config = tf.ConfigProto()
  config.gpu_options.allow_growth = True
  sess = tf.Session(config=config)
  

• 关闭不必要的可视化日志：如果不需要实时查看训练的TensorBoard数据，可以暂时注释掉配置文件里的summary相关设置，减少显存和内存的额外消耗。

2. 缓解系统RAM压力

• 减少数据预取队列大小：在输入数据处理的代码里，把队列的capacity参数改小（比如从默认的1000改成200），避免一次性加载太多数据到内存中。
• 清理后台进程：关闭所有不需要的软件、浏览器标签页，尽可能释放系统RAM。
• 临时启用Swap分区：如果以上方法还是不够，可以创建一个Swap分区（比如4GB），让系统把部分内存数据暂存到硬盘——虽然会减慢训练速度，但能避免内核终止进程。

另外提一句，你的TensorFlow 1.7.0版本比较老旧，新版本的TensorFlow在内存优化上有不少改进，如果后续有条件的话可以考虑升级到TF1.x的较新版本（比如1.15），不过先按上面的方法调整应该就能解决问题了。

内容的提问来源于stack exchange，提问作者enoted