PyTorch CUDA总分配内存异常飙升至数百GB的技术咨询

问题场景 #

我在PyTorch框架下运行HuggingFace Transformer模型做推理，使用GPU实例。查看CUDA内存摘要时发现，总分配内存（Total Allocation）随每次推理飙升至数百GB——例如第二次推理后总分配内存为19GB，第三次推理后达到205GB。不过该总分配内存会被释放，内存映射未显示异常模式，当前使用量和峰值使用量近乎稳定。我的推理SageMaker实例仅配备128GB CPU内存和24GB GPU内存。

疑问 #

1. 总分配内存为何能超过运行推理的SageMaker实例的内存容量？
2. 如何控制这种异常行为？
3. 推理运行正常的情况下，该问题是否需要修复？

解答 #

1. 总分配内存为何能超过实例内存容量？ #

CUDA的Total Allocation统计的是累计分配过的内存总量，并非当前实际占用的内存。每次推理过程中会临时分配内存块，使用完成后就会释放回系统，但这个累计统计值会持续累加，哪怕内存已经归还。所以它的数值完全可能超过实例的物理内存容量——毕竟只是历史分配的总和，不是同一时间点的占用量。

2. 如何控制这种异常行为？ #

• 重置CUDA内存统计：在推理间隙调用torch.cuda.reset_max_memory_allocated()和torch.cuda.reset_memory_stats()，直接清零累计统计值，避免数值虚高干扰判断。
• 启用内存复用优化：开启torch.backends.cuda.enable_mem_efficient_sdp(True)，让PyTorch更高效地复用已分配的内存块，减少重复分配的次数；必要时可调用torch.cuda.empty_cache()（注意不要频繁调用，避免额外性能损耗）。
• 固定推理Batch Size：如果Batch Size波动较大，会导致频繁分配不同规格的内存块，加速累计值飙升。固定Batch Size能让内存分配更规律，降低累计增长速度。

3. 推理运行正常的情况下，该问题是否需要修复？ #

如果当前内存使用量、峰值内存都保持稳定，推理过程也没有出现OOM（内存不足）或性能下降的情况，不需要强制修复。因为这个累计分配值只是一个统计指标，不会影响实际推理运行。但如果该数值干扰你对内存使用情况的判断，或者后续有扩容、性能优化的需求，可以按照上面的方法重置统计值或优化内存分配逻辑。

内容的提问来源于stack exchange，提问作者akshat garg