在Google Colab训练VGG16模型时运行时断连、输出丢失问题如何解决

1. 搭建断点续存机制（从根源避免断连丢进度） #

所有训练输出完全存储于Google Drive路径，脱离Colab本地临时存储的易失性：

• 第一行代码完成Google Drive挂载，所有权重、日志、数据集路径全部指向Drive目录，严禁将训练输出存在Colab本地临时盘。
• 在模型编译完成后，接入Keras内置回调实现自动存盘：

  from tensorflow.keras.callbacks import ModelCheckpoint, CSVLogger, EarlyStopping
  import os
  
  # 配置Drive上的专属训练存盘目录
  save_path = "/content/drive/MyDrive/vgg16_cls_training"
  os.makedirs(save_path, exist_ok=True)
  
  callback_config = [
      # 每跑完1个epoch自动将权重写入Drive，不覆盖历史文件
      ModelCheckpoint(
          filepath=os.path.join(save_path, "ckpt_{epoch:02d}.h5"),
          monitor="val_accuracy",
          save_best_only=False,
          save_weights_only=True, # 仅存权重，存储速度更快、占用空间更小
          verbose=1
      ),
      # 每轮训练的loss、验证集指标同步写入Drive的CSV文件，断连后可直接回溯历史训练曲线
      CSVLogger(
          filename=os.path.join(save_path, "training_record.csv"),
          append=True # 续跑时不覆盖原有日志
      ),
      # 早停机制：连续3轮验证集准确率无提升则自动终止训练，减少无意义的长时训练
      EarlyStopping(
          monitor="val_accuracy",
          patience=3,
          restore_best_weights=True
      )
  ]
  

• 增加自动断点加载逻辑：每次启动训练前，自动扫描Drive目录下的历史权重，定位最后一次完成的epoch位置，加载权重后从断点续跑，无需从头初始化训练：

  start_epoch = 0
  # 扫描目录下的所有权重文件
  existing_checkpoints = [f for f in os.listdir(save_path) if f.endswith(".h5")]
  if existing_checkpoints:
      # 提取文件名中的epoch编号排序，定位最新权重
      existing_checkpoints.sort(key=lambda x: int(x.split("_")[1].replace(".h5", "")))
      latest_weight_path = os.path.join(save_path, existing_checkpoints[-1])
      model.load_weights(latest_weight_path)
      # 记录上次训练结束的epoch，作为本次训练的起始位置
      start_epoch = int(existing_checkpoints[-1].split("_")[1].replace(".h5", ""))
      print(f"已加载历史权重，从第{start_epoch + 1}轮开始续跑")
  

• 调整原有model.fit配置，接入回调与断点参数：

  model.fit(
      x=train_batches,
      steps_per_epoch=len(train_batches),
      validation_data=valid_batches,
      validation_steps=len(valid_batches),
      epochs=35,
      initial_epoch=start_epoch, # 从上次中断的轮次开始运行
      callbacks=callback_config, # 启用自动存盘、早停逻辑
      verbose=2
  )
  

2. 降低Colab断连概率的调整 #

• 提前将3000张的全量数据集存入Google Drive目录，图像生成器直接读取Drive内的图片路径，不要在Colab本地存储数据集。就算Colab临时实例重置，重新挂载Drive后可直接加载数据，无需重复上传、预处理图片。
• 训练全程保持Colab标签页在浏览器前台，不要长时间切到后台页面，避免Colab心跳检测失效触发强制断连。
• 保持当前网络层全冻结的配置，不要随意解冻VGG16靠前的卷积层，避免显存占用过高触发Colab资源强制回收。
• 给图像生成器配置适配显存的批大小（一般32/64即可），降低单轮训练的step数，缩短单轮训练时长，就算出现极端断连，重跑的时间成本也极低。

3. 优化训练效率，缩短总训练时长 #

• 替换原有VGG16实例化代码，明确加载ImageNet预训练权重：vgg16_model = tf.keras.applications.vgg16.VGG16(weights='imagenet', include_top=True)，利用预训练特征加快模型收敛，可将总训练轮次从35轮压缩到10-15轮，大幅减少训练暴露在断连风险中的时长。
• 不要重复实例化加载VGG16，首次加载完成后可将模型权重缓存到Drive目录，后续训练直接加载本地缓存的权重，减少每次启动时的网络加载耗时。

内容的提问来源于stack exchange，提问作者Blue Moon