Google Colab Pro+训练YOLOv5x6未完成全量epoch提前中断问题咨询

故障可能成因 #

• Colab动态资源回收：Pro+标准运行时的最长24小时运行时长是理论上限，平台会根据全局资源负载、单实例GPU占用率等指标动态回收实例，连续20小时高负载运行触发回收阈值的概率极高，回收时不会向用户进程输出任何报错信息
• 会话心跳中断：如果浏览器端Colab页面长时间处于后台、本地网络出现波动，会导致前端和服务器的心跳连接断开，平台会判定用户已离开，直接终止运行中的任务
• 隐性资源溢出：YOLOv5x6模型计算量较大，长时间运行后会产生显存碎片化、系统内存占用缓慢上涨的问题，当资源占用超出实例配额上限时，系统会直接kill训练进程，不会输出Python层面的报错日志
• 临时存储耗尽：训练过程中生成的权重文件、日志文件、缓存文件会占用实例临时磁盘空间，当占用超出配额时，文件写入失败会直接触发进程静默终止

断点续训操作方法 #

• 前提：你之前的训练过程中已将输出目录挂载到Google Drive，或者实例未被重置，runs/train/对应实验名/weights/last.pt文件完整保留，否则无法进行续训
• YOLOv5原生支持断点续训功能，无需修改训练逻辑，仅需在原训练命令中增加--resume参数，指向你保存的last.pt文件路径即可，示例命令如下：
  python train.py --resume /drive/MyDrive/你的训练输出路径/weights/last.pt --epochs 300
• 续训时不需要额外指定batch size、数据集路径、优化器等超参数，这些配置都会自动从last.pt文件中读取，训练会直接从第251个epoch开始继续执行，直到完成设定的300epoch

后续长时间训练建议提前挂载Google Drive，将训练输出路径直接指定到Drive目录，避免实例回收导致训练权重丢失。

内容的提问来源于stack exchange，提问作者iamshiv