PyTorch调用model.to(device)后模型设备仍为cpu无法切换问题

核心原因 #

PyTorch 原生 nn.Module 不存在默认的 device 属性，你打印的 model.device 是自定义模型类时手动声明的属性。model.to(device) 只会自动移动模型的参数、缓冲区到目标设备，不会主动更新你自定义的类属性，因此属性显示为 cpu 不代表模型真的没有迁移成功。

第一步：验证模型真实设备 #

执行以下代码查看模型参数的实际设备，只要输出为 cuda:0 就说明模型已经迁移到GPU上：

print(next(model.parameters()).device)

解决方案 #

方案1：同步自定义device属性 #

如果需要保留 model.device 自定义属性，重写模型类的 to 方法，让属性随设备迁移自动更新：

import torch.nn as nn

class S2SModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.encoder = Encoder(...)
        self.decoder = Decoder(...)
        self.output_layer = nn.Linear(32, 1)
        # 初始化时从参数获取设备，不要写死为'cpu'
        self.device = next(self.parameters()).device
    
    def to(self, *args, **kwargs):
        # 先执行父类的设备迁移逻辑
        super().to(*args, **kwargs)
        # 更新自定义device属性
        self.device = next(self.parameters()).device
        return self

方案2：取消自定义device属性 #

不需要手动维护设备属性，每次需要获取模型设备时直接从参数读取：

# 例如将输入张量迁移到和模型同设备
input_tensor = input_tensor.to(next(model.parameters()).device)

其他排查点 #

• 确认代码执行顺序：model.to(device) 操作必须在模型实例化之后、训练/推理之前执行，避免迁移后又重新初始化模型被覆盖为CPU版本。
• 如果模型中包含未注册为nn.Parameter、也未用register_buffer注册的普通张量，model.to()不会自动迁移这些张量，需要手动迁移或者注册为缓冲区。

内容的提问来源于stack exchange，提问作者Tommy Lees