GCloud VM上3D图像分割训练GPU利用率骤降后OOM问题咨询

问题描述 #

我在GCloud虚拟机上运行3D图像分割深度学习训练流程，约25个epoch后GPU利用率逐步下降，32个epoch后触发内存不足（OOM）错误。训练流程本质是重复的数据循环，其他核心指标无异常，无法理解为何前期epoch正常，后期突然出问题。想确认：

• 是否是GPU内存泄漏？
• GCloud是否会基于GPU温度进行节流？

相关背景信息 #

• Julia版本：1.9.0，搭配FastAI.jl 0.5.1、Flux.jl 0.13.16、CUDA.jl 4.2.0
• 虚拟机配置：Ubuntu 22.04 x86_64，CUDA toolkit 12.1、NVIDIA驱动530.30.02，16GB显存的NVIDIA Tesla T4 GPU
• 模型与数据：约950万参数的残差U-Net，输入为(96, 96, 96)尺寸的3D Float32图像，批量大小设为2

已尝试操作 #

• 问题可稳定复现，每次都在相同epoch数后出现
• 减小输入图像尺寸，问题仍会出现，但延迟到60个epoch
• 减小模型尺寸，问题出现得更早（这点尤为困惑）
• 已设置JULIA_CUDA_MEMORY_POOL为none，并在每个epoch后添加回调执行GC.gc(true)和CUDA.reclaim()

问题分析与解答 #

是否是GPU内存泄漏？ #

大概率是内存泄漏。训练流程重复执行但显存持续增长，且能稳定复现，完全符合内存泄漏的特征。你已经手动触发了GC和CUDA内存回收，但仍存在问题，说明可能有某些中间张量、缓存或FastAI/Flux的内部状态没有被正确释放。

至于“减小模型尺寸后问题出现更早”，原因可能是小模型训练速度更快，相同时间内完成的训练循环次数更多，内存泄漏的累积速度也更快，因此更早耗尽显存。

GCloud是否会基于GPU温度节流？ #

GCloud的GPU虚拟机确实有温度保护机制，但温度节流的表现通常是GPU利用率下降、训练速度变慢，不会直接触发OOM错误。而且节流是可逆的，当GPU温度下降后会自动恢复，不会持续到显存耗尽。结合你“GPU利用率逐步下降后才出现OOM”的表现，更可能是内存泄漏导致可用显存越来越少，GPU无法调度足够资源执行计算，利用率随之下降，最终耗尽显存触发OOM。

额外排查建议 #

• 在每个epoch前后调用CUDA.memory_status()打印显存使用细节，定位内存增长的具体阶段（数据加载、前向传播、反向传播、优化器更新）
• 检查数据加载流水线，确认是否每次epoch都在创建新的缓存张量或数据集对象，且未被正确回收
• 查看Flux优化器的内部状态，排查是否存在累积的梯度、动量张量未被清理（比如自定义优化器或学习率调度器的异常状态）
• 尝试禁用FastAI的自动缓存功能，手动管理数据预处理的中间结果
• 升级Flux.jl、CUDA.jl等依赖到最新稳定版，旧版本可能存在已知的内存泄漏bug

内容的提问来源于stack exchange，提问作者ita