PyTorch RuntimeError设备不匹配求助：自编码器输入latent vector报错

1. 统一模型与输入张量的设备 #

确保整个模型的所有层（编码器、解码器及内部自定义组件）和生成的latent vector都处于同一设备（如cuda:0），不要只移动模型的部分组件：

# 统一指定设备
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
# 将模型整体移至目标设备
model = model.to(device)
# 生成latent vector时直接指定设备，或生成后迁移
latent = torch.randn(batch_size, latent_dim, device=device)
# 或：latent = latent.to(device)

2. 排查模型内部硬编码的CPU张量 #

如果模型自定义层中存在手动创建的张量（如掩码、固定参数），这些张量默认会在CPU上运行，需在forward过程中同步到输入张量的设备：

class Decoder(nn.Module):
    def __init__(self):
        super().__init__()
        # 初始化时不硬编码设备
        self.mask = torch.ones(32, 32)
        
    def forward(self, x):
        # 将内部张量同步到输入x的设备
        self.mask = self.mask.to(x.device)
        # 后续运算逻辑
        ...

3. 打印设备状态定位问题点 #

在测试前打印关键组件的设备信息，快速定位未同步的张量：

print(f"模型参数所在设备: {next(model.parameters()).device}")
print(f"Latent vector所在设备: {latent.device}")
# 若有自定义内部张量，也打印其设备
print(f"解码器掩码所在设备: {model.decoder.mask.device}")

4. 规避混合设备操作的常见错误 #

• 从numpy转换张量时直接指定设备，避免默认CPU张量传入CUDA模型：

# 错误示例：numpy转张量默认在CPU
latent_np = np.random.randn(batch_size, latent_dim)
latent = torch.from_numpy(latent_np)
# 正确做法
latent = torch.from_numpy(latent_np).to(device)

• 对齐图像输入与latent输入的设备逻辑：如果图像通过DataLoader自动迁移到CUDA，latent生成时也要遵循同一设备规则。

内容的提问来源于stack exchange，提问作者Alexa