调用两个不同损失的.backward()触发‘张量需同设备’RuntimeError原因排查

以下是可能导致该设备不匹配错误的几个常见原因及对应的排查方向：

• 损失函数中存在未指定设备的新张量
  有些损失计算逻辑里会手动创建新张量（比如权重系数、常数项），如果创建时没指定设备（比如用torch.tensor(0.5)而不是torch.tensor(0.5, device=device)），这些张量默认会在CPU上，和cuda上的损失张量求和或运算时就会触发错误。检查你的损失函数实现，确保所有手动创建的张量都显式指定设备。

• 优化器初始化时机错误
  如果优化器是在模型移到cuda之前初始化的，即便之后把模型移到cuda，优化器内部的状态字典可能还残留CPU上的张量。解决方法是：确保在模型移到cuda之后再初始化优化器；如果已经初始化了，可以手动遍历优化器状态并转移设备：

  device = torch.device("cuda:0")
  for optimizer in [cls_optimizer, gen_optimizer]:
      for state in optimizer.state.values():
          for k, v in state.items():
              if isinstance(v, torch.Tensor):
                  v.data = v.data.to(device)
                  if v.grad is not None:
                      v.grad.data = v.grad.data.to(device)
  

• 模型子模块未正确转移到cuda
  检查模型的所有子模块是否都被正确注册到nn.Module中，比如用nn.ModuleList、nn.Sequential管理子层，或者在__init__里显式赋值为模型属性。如果有自定义的子层或预训练组件没被正确注册，它们的参数可能仍留在CPU上，计算时产生的张量会导致设备不匹配。可以通过以下代码打印所有参数的设备来排查：

  print("分类模型参数设备：")
  for param in cls_model.parameters():
      print(param.device)
  print("生成模型参数设备：")
  for param in gen_model.parameters():
      print(param.device)
  

• 中间张量被隐式转移到CPU
  两次损失计算之间的代码如果存在张量转numpy的操作（.numpy()会强制把张量移到CPU），之后又将numpy数组转回张量但未指定设备，就会产生CPU张量。比如：

  # 错误示例：转回张量时没指定设备
  numpy_arr = some_cuda_tensor.numpy()
  new_tensor = torch.from_numpy(numpy_arr)  # 默认在CPU
  

  要改成new_tensor = torch.from_numpy(numpy_arr).to(device)。

• 混合精度训练的隐式问题
  如果使用了torch.cuda.amp进行混合精度训练，未正确使用GradScaler可能导致设备不匹配。确保用scaler.scale(total_loss).backward()替代直接调用total_loss.backward()，并且所有相关张量都在cuda设备上。

内容的提问来源于stack exchange，提问作者Eva Pachetti