如何突破Kaggle GPU 12小时限制，继续深度学习训练？

• 定期保存训练断点（Checkpoint）
  训练过程中每隔固定epoch或固定时长保存完整训练状态，包括模型权重、优化器参数、当前epoch数、损失值等。重启内核后直接加载断点，从上次中断位置续训，无需从头开始。
  以PyTorch为例的实现代码：

  # 保存断点
  def save_checkpoint(epoch, model, optimizer, loss, path='./checkpoint.pth'):
      torch.save({
          'epoch': epoch,
          'model_state_dict': model.state_dict(),
          'optimizer_state_dict': optimizer.state_dict(),
          'last_loss': loss
      }, path)
  
  # 加载断点续训
  def load_checkpoint(path, model, optimizer):
      checkpoint = torch.load(path)
      model.load_state_dict(checkpoint['model_state_dict'])
      optimizer.load_state_dict(checkpoint['optimizer_state_dict'])
      start_epoch = checkpoint['epoch']
      last_loss = checkpoint['last_loss']
      return start_epoch, last_loss
  

  TensorFlow可使用ModelCheckpoint回调自动保存：

  from tensorflow.keras.callbacks import ModelCheckpoint
  
  checkpoint_callback = ModelCheckpoint(
      filepath='./model_checkpoint.h5',
      save_weights_only=False,
      save_freq='epoch',
      save_best_only=False
  )
  model.fit(..., callbacks=[checkpoint_callback])
  

• 持久化断点文件
  将断点文件保存到Kaggle的/kaggle/working/目录，该目录内容会保留在项目输出中，下次启动内核可直接读取。若需长期存储，也可将断点上传至个人Kaggle数据集，避免输出清理导致文件丢失。

• 拆分训练任务
  若单轮训练超过12小时，手动拆分训练阶段：比如先训练0-50个epoch，保存断点后关闭内核；再启动新内核加载断点，继续训练51-100个epoch，以此类推。可在代码中加入判断逻辑，自动识别已存断点并设置起始epoch，减少手动操作成本。

• 优化训练效率压缩单轮时间

  • 开启混合精度训练：PyTorch用torch.cuda.amp，TensorFlow启用mixed_precision策略，在不降低模型精度的前提下减少显存占用、加快训练速度。
  • 合理调整batch size：在GPU显存允许范围内增大batch size，提升训练吞吐量。
  • 减少评估频率：比如每5个epoch执行一次验证评估，而非每个epoch都评估，节省不必要的计算时间。

内容的提问来源于stack exchange，提问作者Zohaibuna