Colab Pro Plus训练13小时后断开连接原因及预防方案问询

• Colab所有订阅等级均不承诺固定的连续运行时长，Pro Plus用户公开的最高连续运行阈值为24小时，但实际时长会根据平台资源空闲度、账户使用习惯、任务资源占用情况动态调整：高显存/高算力负载的训练任务优先级会低于空闲实例，更容易被提前回收资源，13小时中断属于动态调度后的正常情况。
• 前端浏览器会话异常也会触发连接断开：本地网络波动、设备休眠、浏览器页面长时间未交互都会导致前端和后端实例的连接中断，未做持久化的运行数据会直接丢失。
• 实例所在节点的硬件故障、平台日常运维也存在小概率触发实例终止的可能，这类故障不受用户订阅等级影响。

数据持久化配置 #

• 训练前挂载谷歌云盘，将checkpoint保存路径直接指定到云盘目录，即使实例断开，所有训练进度都会保留在云盘中，无需从零开始训练。挂载云盘的代码如下：

from google.colab import drive
drive.mount('/content/drive')

• 调整保存策略，设置高频自动保存：可设置每完成1个epoch、或每固定时间间隔（如30分钟）就保存一次最新的checkpoint，同时保存当前训练步数、优化器状态等参数，方便后续断点续训。

延长实例运行时长 #

• 开启Pro Plus自带的后台执行功能，开启后关闭浏览器页面也不会中断实例运行，避免前端会话异常导致的连接断开。
• 优先选择满足训练需求的最低配GPU实例：比如16GB显存即可满足的训练任务不要选择40GB A100实例，低资源占用的实例被平台回收的概率会大幅降低。
• 避免长时间连续高负载占用实例，平台对长期高算力消耗的账户会下调调度优先级，更容易被提前回收资源。

异常中断后恢复 #

• 编写训练代码时预留断点续训逻辑，重新连接实例后直接加载云盘中的最新checkpoint，从断开的进度继续训练即可。

内容的提问来源于stack exchange，提问作者antoine JM