求助：DIGITS(v5)多GPU训练FCN8s语义分割模型遇系统重启问题

看到你遇到的问题了——单GPU能正常跑FCN8s但速度慢，切4块Titan Xp就直接关机重启，而且谷歌群组里也有其他用户碰到类似情况，结合你的环境（Ubuntu14.04、Caffe0.15.13、DIGITS5.0），我整理几个大概率的排查方向：

1. 优先排查硬件供电问题 #

4块Titan Xp单卡满载功耗约250W，总GPU功耗就超过1000W，再加上CPU、主板、内存等组件的功耗，电源额定功率不足是最常见的触发关机的原因。

• 检查电源额定功率：至少需要1200W以上的金牌/白金认证电源，避免用虚标功率的产品；
• 确认所有GPU的供电接口都插紧（Titan Xp通常需要双8pin供电），没有松脱或接触不良的情况。

2. 监控GPU散热与温度 #

多GPU满载时散热压力陡增，若机箱风道差、风扇故障或积灰过多，GPU核心温度过高会触发硬件保护机制直接关机：

• 训练前用nvidia-smi命令实时监控GPU温度，确认空载时温度正常；
• 清理GPU散热器和机箱内的灰尘，优化机箱风道（比如增加前置进风风扇、后置排风风扇），必要时更换高性能散热器。

3. 检查Caffe与DIGITS的多GPU配置 #

DIGITS v5依赖的Caffe 0.15.13在多GPU模式下可能存在配置或编译问题：

• 确认Caffe编译时开启了NCCL支持（NVIDIA推荐的多GPU通信库，比默认的MPI更稳定），可以查看Caffe的Makefile.config里是否开启了USE_NCCL := 1；
• 在DIGITS的Solver设置中，将Solver Type改为NCCL，而非默认的SGD或其他类型；
• 适当降低总Batch Size：虽然多GPU会分摊Batch Size，但FCN8s的特征图尺寸较大，总Batch Size过大可能导致瞬间功耗突增，触发电源保护。

4. 系统与驱动兼容性调整 #

Ubuntu14.04属于较老的发行版，和Titan Xp（Pascal架构）的驱动兼容性可能存在问题：

• 升级NVIDIA驱动到适配Pascal架构的稳定版本（比如384.x系列，避免用最新的测试版），确保驱动版本和Caffe、DIGITS兼容；
• 考虑升级Ubuntu内核到4.x系列（Ubuntu14.04支持内核升级），老内核对多GPU的电源管理和调度可能不够完善。

5. DIGITS版本的bug修复 #

既然谷歌群组已有用户反馈类似问题，大概率是DIGITS v5的多GPU模式在处理FCN类模型时存在bug：

• 尝试升级到DIGITS 6.0版本，新版本通常会修复多GPU相关的兼容性问题；
• 查看谷歌群组里的用户解决方案，部分用户提到修改Caffe的data_layer.cpp或调整DIGITS的训练参数（比如关闭某些数据增强选项）来规避关机问题。

希望这些方向能帮你解决问题，要是排查出具体原因也可以回来分享下，方便其他碰到同样问题的开发者～

内容的提问来源于stack exchange，提问作者pepe