Transformer模型报错TypeError: Tensor与NoneType无法执行+运算求助

以下是针对该错误的排查方向和解决方法：

• 检查MultiHeadAttention的forward返回值
  最直接的原因是你的self.mha模块的forward函数未正确返回张量。比如实现中漏掉了return语句，或是在分支逻辑中某些路径返回了None。例如：

  class MultiHeadAttention(nn.Module):
      def forward(self, q, k, v, pad_mask):
          # 计算逻辑
          if pad_mask is not None:
              output = 处理后的张量
          # 此处缺少return语句，导致默认返回None
  

  必须确保forward函数无论什么分支，都明确返回计算后的张量。

• 验证pad_mask的格式匹配度
  自定义MultiHeadAttention通常对mask的形状、数据类型有要求，格式不匹配可能导致内部计算异常甚至返回None：

  • 尝试转换mask为布尔型（多数实现要求的格式）：

    maske_t = torch.tensor(maske, dtype=torch.bool).to(device)
    maskd_t = torch.tensor(maskd, dtype=torch.bool).to(device)
    

  • 检查mask形状：部分实现要求mask为(batch_size, 1, 1, seq_len)而非(batch_size, seq_len)，可尝试扩展维度：

    maske_t = maske_t.unsqueeze(1).unsqueeze(2)
    

• 确认mha模块初始化正确性
  检查EncoderBlock的__init__方法中，self.mha是否被正确实例化，未被误赋值为None：

  class EncoderBlock(nn.Module):
      def __init__(self, d_model, n_head):
          super().__init__()
          # 正确示例：实例化MultiHeadAttention
          self.mha = MultiHeadAttention(d_model, n_head)
          # 错误示例：self.mha = None 或未初始化
  

• 添加调试代码定位问题
  在EncoderBlock的forward中临时添加打印，确认mha的输入和输出：

  def forward(self, x, pad_mask):
      print("mha输入x形状:", x.shape)
      print("pad_mask形状:", pad_mask.shape)
      mha_out = self.mha(x, x, x, pad_mask)
      print("mha返回值:", mha_out)  # 直接查看是否为None
      x = self.ln1(x + mha_out)
      # 后续逻辑...
  

内容的提问来源于stack exchange，提问作者user17373546