You need to enable JavaScript to run this app. PyTorch运行自定义ResNet时自定义数据集与测试集耗尽内存求助
优惠活动
大模型
产品
解决方案
定价
更多

PyTorch运行自定义ResNet时自定义数据集与测试集耗尽内存求助

问题核心原因&修复方案

以下是导致内存耗尽的几个核心问题,按优先级排序:

  1. 验证/测试阶段未禁用梯度计算
    你仅调用了model.train(False)(等价于model.eval()),这个方法只会调整BatchNorm、Dropout等层的运行模式,不会关闭PyTorch默认的自动梯度记录机制。所有前向传播的计算图会被持续保留,每跑一次验证/测试就会新增一份计算图数据,最终导致内存耗尽。
    修复方法:所有验证、测试代码块外层套with pt.no_grad():上下文管理器,完全禁用梯度记录:
# 验证阶段示例
model.eval()
with pt.no_grad():
    ht_val = model(x_val)
    val_cost = criterion(ht_val, y_val)
    val_acc = acc(ht_val, y_val)

# 测试阶段同理,整个测试循环套在no_grad下
  1. 损失/精度累加时未脱离计算图
    你直接把带梯度的张量累加到普通变量中:test_cost_avg += criterion(ht, by),这会把所有批次的计算历史都绑定到累加变量上,导致所有中间张量永远不会被释放。
    修复方法:累加时用.item()取出纯数值,不再保留计算关联:
test_cost_avg += criterion(ht, by).item()
test_acc_avg += acc(ht, by).item()
  1. 不必要的float64精度占用
    你对数据和模型都调用了.double(),使用float64精度会比默认float32多占用一倍内存,而MNIST分类任务完全不需要这么高的精度,反而会拖慢训练速度、升高内存占用。
    修复方法:移除所有不必要的.double()调用,保持默认float32精度即可。
  2. 验证集推理逻辑不合理
    你每次训练迭代(每个batch)都跑一次全量验证集推理,不仅计算浪费,也会频繁生成计算图加剧内存占用,且你直接把整个验证集一次性输入模型,当验证集较大时单次占用内存也会更高。
    修复方法:
  • 每1个epoch跑一次验证即可,不需要每个batch都跑
  • 验证集也封装成DataLoader分批次推理,不要一次性输入全量数据

额外实践建议

你当前是从测试集拆分验证集,这不符合常规深度学习实践:验证集应该从训练集中拆分,测试集仅用于最终模型效果评估,避免模型在训练过程中泄露测试集信息。

内容的提问来源于stack exchange,提问作者cmpltrtok

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.10 08:54:01