TensorFlow Object Detection API训练数千步后损失骤升问题咨询

可能的故障原因 #

• 后台GPU资源抢占导致计算异常
  你同时运行视频解码等GPU负载任务时，会占用显存带宽与算力资源，TensorFlow默认会预占全部GPU显存，但当其他任务抢夺显存时，不会直接触发报错退出，而是可能出现张量计算精度下降、梯度计算数值不稳定的情况，最终引发梯度爆炸，表现为损失值骤升。空载时GPU资源全部供给训练任务，计算过程稳定，因此损失曲线正常。
• TensorFlow版本与30系显卡的适配问题
  你使用的TensorFlow 2.5.0对RTX 30系安培架构显卡的混合精度计算支持存在已知bug，在GPU负载波动时容易出现数值溢出。你同事使用的TensorFlow 2.5.1刚好修复了安培架构的混合精度计算异常问题，配合GTX 16系图灵架构不存在该兼容性问题，因此运行正常。
• CUDNN版本适配缺陷
  你使用的CUDNN 8.1.1与TensorFlow 2.5.0的适配性存在瑕疵，在GPU负载波动时会触发卷积计算的数值错误，而你同事使用的CUDNN 8.1.0和TensorFlow 2.5.1的组合经过官方验证，稳定性更高。

验证方案 #

1. 训练时后台开启GPU监控工具，记录显存、算力占用的波动情况，确认损失骤升的时间点是否与GPU资源被抢占的时间点重合
2. 将你的TensorFlow版本升级到2.5.1，CUDNN版本降级到8.1.0，和同事的环境保持完全一致后复现测试
3. 关闭系统的GPU动态调度、节能功能，避免训练过程中GPU频率动态波动引发的计算异常

内容的提问来源于stack exchange，提问作者mwoua