Colab选择GPU运行时后是否需用tensor.to将张量和模型迁移到CUDA？

仍然需要手动将张量、模型迁移到CUDA设备上，Colab切换GPU运行时不会自动完成该操作。

Colab将运行时设置为GPU后，仅完成了两个动作：为你的实例分配可用的NVIDIA GPU硬件、预装匹配CUDA版本的深度学习框架，没有修改PyTorch等框架的默认张量存储逻辑：

• 直接创建的张量（torch.tensor()、torch.randn()等生成方式）默认存放在CPU内存
• 初始化的模型权重默认也存放在CPU内存
• 若直接用CPU存储的张量、模型跑CUDA训练，框架会直接抛出设备不匹配的报错。

首先验证CUDA可用性：

import torch
# 输出为True则说明GPU可被框架正常识别
print(torch.cuda.is_available())

建议先声明全局设备变量，避免硬编码设备名：

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

迁移操作规则：

• 模型只需迁移一次：model = model.to(device)
• 每批次加载的输入、标签张量都需要单独迁移：inputs = inputs.to(device)、labels = labels.to(device)

如果你使用TensorFlow框架，开启GPU运行时后框架会自动将张量、模型调度到GPU上运行，不需要手动执行迁移操作，和PyTorch的逻辑存在差异。

内容的提问来源于stack exchange，提问作者dzdws