训练PyTorch神经网络2小时后Jupyter Notebook崩溃报MemoryError的原因及解决方法
问题描述
在Jupyter Notebook中训练基于PyTorch的神经网络模型时,完成2小时训练后运行下一个代码单元格,直接出现浏览器标签页崩溃。
终端同时输出如下日志:
MemoryError [I 16:32:46.267 NotebookApp] KernelRestarter: restarting kernel (1/5), keep random ports WARNING:root:kernel b4d13532-a648-42bc-932e-cc5acf92abd0 restarted
需求:明确该问题的根本原因,给出可落地的解决方法。
根本原因
从日志的MemoryError和内核自动重启记录可以直接定位,该问题和浏览器本身故障无关,本质是Jupyter背后运行的PyTorch训练内核进程,内存占用达到系统可用阈值上限,被系统强制终止资源占用;内核崩溃后和前端浏览器的连接断开,浏览器因为长时间等不到内核响应、加载连接异常的状态数据,最终连带出现标签页崩溃。
长时训练出现无限制内存累积的常见触发点:
- 训练循环的代码设计缺陷:很多开发者容易踩的坑是直接在训练循环里用列表存储每步的损失、模型输出张量,这类带计算图引用的张量不会被垃圾回收机制自动释放,数小时运行下来累积的内存占用可达数十GB
- 未切断冗余的计算图关联:验证、结果统计等不需要反向传播的代码块没有临时关闭梯度计算,每次运行都会保留完整的梯度计算上下文,持续占用内存
- Jupyter长会话的累积效应:长期运行的Notebook会话会留存大量未被主动清理的变量引用,和训练进程的内存占用叠加,最终打满系统全部可用内存
可落地解决方案
- 训练代码层面做内存优化:
- 所有不需要计算梯度的操作(验证流程、指标统计),统一用
with torch.no_grad():代码块包裹,切断计算图和张量的关联 - 训练循环中存储运行指标时,只保留剥离了梯度引用的纯数值,比如用
losses.append(loss.item())代替直接存储loss张量,从根源上避免计算图被无限制留存 - 每间隔固定训练轮次手动触发内存回收:使用GPU训练的场景先调用
torch.cuda.empty_cache()清理显存缓存,再通过import gc; gc.collect()回收主机侧的无效引用
- 所有不需要计算梯度的操作(验证流程、指标统计),统一用
- 系统资源层面做防护:
- 给Jupyter内核设置单进程内存上限,避免单个进程无限制占用内存导致系统、浏览器整体卡死
- 训练过程中嵌入简单的内存监控逻辑,通过
psutil跟踪进程内存增长速率,提前识别无边界的内存累积问题
- 使用习惯层面调整:
- 长时训练任务尽量拆成独立Python脚本后台运行,Notebook只承担结果可视化、数据分析的功能,避免训练过程和Notebook会话强绑定
- 训练时避免在Notebook内核中重复加载大体积数据集副本,减少无意义的重复内存占用
内容的提问来源于stack exchange,提问作者KatrinaKing
相关产品推荐
相关产品推荐

