如何实现Google Colab运行时切换且不终止当前会话？

首先明确：Colab原生不支持切换运行时（CPU转GPU）且不终止当前会话。因为切换运行时本质是为你分配一台全新的、对应配置的虚拟机，原会话的所有进程、本地文件都会被销毁，这是平台的底层机制，没法绕过。

给你几个实际可行的替代方案，尽量减少切换带来的影响：

• 用%store命令保存关键状态：如果你的预训练过程中没有大文件，只是需要保留变量路径、训练参数这类轻量数据，可以用Colab内置的%store命令在会话间传递：

  • 切换前执行：%store pretrain_params model_save_path
  • 切换GPU运行时后，执行：%store -r pretrain_params model_save_path
    注意：这个命令只能保存变量，不能保存本地文件，文件还是会随会话销毁，所以适合配合下面的文件保存方法使用。

• 仅在切换节点读写Drive：既然全程挂载Drive训练慢，那就只在预训练完成后一次性把关键输出（比如模型权重、训练日志）存到Drive，切换GPU后再一次性读取，减少Drive的IO操作：

  • 预训练结束时：

    # 以PyTorch为例，保存模型权重
    torch.save(model.state_dict(), '/content/drive/MyDrive/pretrain_checkpoint.pth')
    # 保存训练参数
    import json
    with open('/content/drive/MyDrive/pretrain_config.json', 'w') as f:
        json.dump(pretrain_params, f)
    

  • 切换GPU运行时后：

    # 加载模型权重
    model.load_state_dict(torch.load('/content/drive/MyDrive/pretrain_checkpoint.pth'))
    # 加载训练参数
    with open('/content/drive/MyDrive/pretrain_config.json', 'r') as f:
        pretrain_params = json.load(f)
    

  这种方式只有两次Drive读写，对训练速度的影响几乎可以忽略。

• 升级Colab Pro/Pro+：如果你的GPU使用限制是因为免费版的配额问题，升级付费版后会获得更长的GPU使用时长、更高优先级的资源分配，可能直接不需要切换CPU预训练，全程用GPU完成训练，从根源上解决问题。

内容的提问来源于stack exchange，提问作者Haunz Croft