PyTorch多GPU环境下ConvVAE设备不匹配RuntimeError问题

核心原因：模型的部分参数（线性层权重）未被正确移动到CUDA设备，而非输入或输出张量的问题。具体可能的场景如下： #

• 动态创建的层未同步设备：如果shape_computation方法内部才动态定义了线性层（比如计算mu/logvar的全连接层），而你是在调用这个方法之前执行的model.to(device)，这部分后创建的层会默认留在CPU上，导致设备不匹配。
  错误示例场景：

  class ConvVAE(nn.Module):
      def __init__(self):
          super().__init__()
          self.encoder = nn.Sequential(...)  # 先定义编码器
  
      def shape_computation(self, x):
          # 动态创建线性层，此时模型已移至CUDA，但新层默认在CPU
          self.fc_mu = nn.Linear(hidden_dim, latent_dim)
          self.fc_logvar = nn.Linear(hidden_dim, latent_dim)
          h = self.encoder(x)
          return self.fc_mu(h), self.fc_logvar(h)
  

• 多GPU使用时的模型封装问题：你用了4块GPU，但未正确使用nn.DataParallel或nn.DistributedDataParallel包装模型，仅手动将模型移到cuda:0，导致部分层参数未同步到GPU，或初始化时绑定到CPU。

• 模型移动的方式错误：比如仅移动了模型的部分子模块（如仅移了编码器），负责输出mu/logvar的线性层未被移动；或者执行model.to(device)后，又重新初始化了线性层，覆盖了已移至GPU的参数。

解决办法： #

• 所有层在模型初始化阶段定义：把fc_mu、fc_logvar等线性层放到__init__方法里定义，再执行model.to(device)，确保所有参数都被移至CUDA。
• 多GPU场景正确封装模型：初始化模型后先执行model = nn.DataParallel(model)，再移至设备；或先移至设备再包装DP/DDP。
• 检查模型参数的设备：执行以下代码确认所有参数的设备是否一致，针对性修正：

  for name, param in model.named_parameters():
      print(name, param.device)
  

内容的提问来源于stack exchange，提问作者Arun