You need to enable JavaScript to run this app. 使用PyTorch Lightning训练Vanilla RNN触发AssertionError求助
优惠活动
大模型
产品
解决方案
定价
更多

使用PyTorch Lightning训练Vanilla RNN触发AssertionError求助

问题根源

你触发断言报错的核心原因是**nn.RNN层的返回值是包含两个元素的元组,无法直接放入nn.Sequential中串联使用**:
nn.RNN的forward返回值为 (output, h_n):

  • 第一个元素output是所有时刻的输出特征,形状为(batch_size, seq_len, hidden_size)(batch_first=True时)
  • 第二个元素h_n是最后一个时刻的隐状态,形状为(num_layers * num_directions, batch_size, hidden_size)

你的第一个RNN层输出是元组,直接传给第二个RNN层时,输入不再是Tensor类型,就触发了assert isinstance(input, Tensor)的报错。你在GitHub没找到对应断言是因为你看的是最新版PyTorch源码,你本地安装的是更早的PyTorch版本,旧版本中保留了这个断言校验。

解决方法

方案1:拆掉nn.Sequential,自定义模型类处理RNN返回值

class CustomRNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.rnn1 = nn.RNN(1,3,nonlinearity='tanh',batch_first=True)
        self.rnn2 = nn.RNN(3,5,nonlinearity='tanh',batch_first=True)
        self.linear = nn.Linear(5, 1)
    
    def forward(self, x):
        # 只取RNN返回的第一个元素output传给下一层
        x, _ = self.rnn1(x)
        x, _ = self.rnn2(x)
        x = self.linear(x)
        return x

之后构建模型时替换原来的Sequential即可:

NN = CustomRNN()
model = Learner(NN)

方案2:如果想保留Sequential写法,自定义取输出的包装层

class RNNOutputWrapper(nn.Module):
    def __init__(self, rnn_layer):
        super().__init__()
        self.rnn = rnn_layer
    
    def forward(self, x):
        out, _ = self.rnn(x)
        return out

# 构建Sequential时用包装层包裹RNN
NN = nn.Sequential(
    RNNOutputWrapper(nn.RNN(1,3,nonlinearity='tanh',batch_first=True)),
    RNNOutputWrapper(nn.RNN(3,5,nonlinearity='tanh',batch_first=True)),
    nn.Linear(5, 1)
)

额外排查建议

如果修改后仍有报错可以先做如下校验:

  • 确认输入数据的最后一维是1,匹配第一个RNN的输入特征维度input_size=1
  • 确认输入张量形状符合(batch_size, seq_len, feature_size)的要求,和batch_first=True的参数匹配
  • 不需要提前把训练张量搬到指定device上,PyTorch Lightning会自动处理张量的设备迁移,手动搬移反而可能在多卡训练时出现设备不匹配问题

内容的提问来源于stack exchange,提问作者Ramy Hanna

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.21 18:06:08