TensorFlow DCGAN示例在Windows本地运行370轮后意外退出求助

我之前也碰到过类似TensorFlow 1.x老版本在Windows GPU环境下长时间训练意外崩溃的情况，结合你的RTX 2060+CuDNN+VS2019调试的场景，给你梳理几个大概率的排查方向：

• GPU显存耗尽或资源过载
  训练DCGAN时，随着epoch增加，模型的中间缓存、生成样本的临时存储可能会慢慢累积，导致显存占用持续上升。到370个epoch时，显存可能刚好触及上限，Windows的GPU驱动为了保护系统，会直接终止进程——这种情况在调试模式下更容易触发，因为调试器本身也会占用额外资源。
  排查建议：用nvidia-smi命令实时监控显存变化，或者在代码里加日志记录每个epoch后的显存占用；也可以先尝试把batch size调小，或者在每个epoch结束后手动清理TF的会话缓存（TF1.x里用tf.reset_default_graph()或者显式关闭session）。

• TensorFlow 1.13与硬件/依赖的兼容性问题
  RTX 2060属于Turing架构，而TensorFlow 1.13对Turing的支持其实不算完善，如果你搭配的CuDNN、CUDA版本不匹配（TF1.13官方推荐CUDA 10.0+CuDNN 7.4.x），长时间运行后很容易出现底层驱动层面的崩溃，调试模式下这类底层错误更容易导致进程直接退出。
  排查建议：先核对你的CUDA、CuDNN版本是否符合TF1.13的要求；也可以试试关闭Eager Execution，换成TF1.x传统的会话模式运行，毕竟当时Eager还属于实验性特性，稳定性不如传统模式。

• VS2019调试器的进程监控触发终止
  VS的调试器会持续监控进程的运行状态，如果检测到GPU驱动返回异常信号、或者进程出现潜在的内存访问问题，可能会直接终止进程而不抛出明确的错误提示——这种情况在长时间运行的GPU进程中偶尔会碰到。
  排查建议：先关掉VS调试，直接用命令行python dcgan.py运行脚本，看看是否还会在370epoch退出。如果命令行下正常运行，那大概率是VS调试器的问题，可以尝试把VS2019更到最新版本，或者关闭一些不必要的调试选项（比如“启用本机代码调试”）。

• 训练数据或数据加载的隐性问题
  有时候训练数据里藏着个别损坏的样本，或者数据加载器的缓存机制在反复加载到370epoch时出现异常，也会导致进程意外退出。而且TF1.x的Eager模式下，错误处理的机制相对薄弱，这类问题可能不会抛出明确的报错信息。
  排查建议：在数据加载的代码里加日志，打印每个epoch加载的样本索引，看看370epoch时是不是刚好加载到某个异常样本；也可以重新预处理一遍训练数据，或者跳过可能有问题的样本试试。

• 硬件散热或系统电源设置问题
  连续跑370个epoch，GPU一直处于高负载状态，如果散热不良（比如风扇积灰、机箱风道不好），GPU温度过高会触发降频甚至强制终止进程；另外如果Windows电源设置成了节能模式，也可能中途触发系统的资源限制。
  排查建议：用GPU-Z之类的工具监控GPU温度，确保温度在正常范围；把Windows电源计划改成“高性能”模式；必要时清理GPU风扇的灰尘，改善散热条件。

内容的提问来源于stack exchange，提问作者Harry Stuart