PyTorch训练随时间变慢问题求助（变分自编码器场景）

我正在用PyTorch训练变分自编码器（VAE），训练初期一切正常，但训练若干轮Epoch后，单轮Epoch的计算时长逐渐增加。

已做的排查操作：

• 监控CUDA内存使用：已分配、空闲及预留内存均保持稳定
• 调用cuda.empty_cache()清理无用张量，但问题未解决

补充说明：该问题仅在加深神经网络架构后出现，基础架构下无此现象；已补充可复现的代码仓库。

可能的原因分析 #

• 动态计算图累积冗余节点：加深网络后，若训练循环里存在动态构建计算图的操作（比如循环内定义层、未固定的条件分支），每轮Epoch都会新增计算节点，导致计算图持续膨胀，拖慢运算速度。PyTorch动态图机制下，这类操作会随轮次累积冗余。
• 未关闭梯度追踪的张量累积：训练中若辅助张量（如日志统计、中间结果）没及时用detach()或torch.no_grad()关闭梯度追踪，加深网络后这类张量的规模变大，会导致梯度计算的隐式开销随轮次上升，即便内存占用稳定，耗时也会增加。
• 数据加载的隐性开销累积：加深网络后，数据预处理环节若有动态操作（如每轮重生成预处理管道、缓存失效），可能让每轮数据加载耗时递增。可以检查DataLoader的num_workers设置，或预处理函数里是否有状态累积（如全局变量计数、动态变换操作）。
• CUDA内核启动开销累积：加深网络后模型算子数量变多，若存在大量小算子，PyTorch的CUDA内核启动开销会随轮次累积（比如动态生成的小张量触发频繁内核调用）。可以尝试用torch.jit.trace()或torch.jit.script()静态化模型，减少动态内核启动的开销。
• 第三方组件状态泄漏：若用了自定义损失函数、优化器钩子（如学习率调度器、日志钩子），加深网络后这些组件可能存在状态未重置的问题，导致每轮Epoch累积额外计算逻辑。比如某些日志工具每轮追加数据未清理，后续计算耗时增加。

内容的提问来源于stack exchange，提问作者Víctor Francés Belda