使用PyTorch Lightning训练Vanilla RNN触发AssertionError求助
问题根源
你触发断言报错的核心原因是**nn.RNN层的返回值是包含两个元素的元组,无法直接放入nn.Sequential中串联使用**:nn.RNN的forward返回值为 (output, h_n):
- 第一个元素
output是所有时刻的输出特征,形状为(batch_size, seq_len, hidden_size)(batch_first=True时) - 第二个元素
h_n是最后一个时刻的隐状态,形状为(num_layers * num_directions, batch_size, hidden_size)
你的第一个RNN层输出是元组,直接传给第二个RNN层时,输入不再是Tensor类型,就触发了assert isinstance(input, Tensor)的报错。你在GitHub没找到对应断言是因为你看的是最新版PyTorch源码,你本地安装的是更早的PyTorch版本,旧版本中保留了这个断言校验。
解决方法
方案1:拆掉nn.Sequential,自定义模型类处理RNN返回值
class CustomRNN(nn.Module): def __init__(self): super().__init__() self.rnn1 = nn.RNN(1,3,nonlinearity='tanh',batch_first=True) self.rnn2 = nn.RNN(3,5,nonlinearity='tanh',batch_first=True) self.linear = nn.Linear(5, 1) def forward(self, x): # 只取RNN返回的第一个元素output传给下一层 x, _ = self.rnn1(x) x, _ = self.rnn2(x) x = self.linear(x) return x
之后构建模型时替换原来的Sequential即可:
NN = CustomRNN() model = Learner(NN)
方案2:如果想保留Sequential写法,自定义取输出的包装层
class RNNOutputWrapper(nn.Module): def __init__(self, rnn_layer): super().__init__() self.rnn = rnn_layer def forward(self, x): out, _ = self.rnn(x) return out # 构建Sequential时用包装层包裹RNN NN = nn.Sequential( RNNOutputWrapper(nn.RNN(1,3,nonlinearity='tanh',batch_first=True)), RNNOutputWrapper(nn.RNN(3,5,nonlinearity='tanh',batch_first=True)), nn.Linear(5, 1) )
额外排查建议
如果修改后仍有报错可以先做如下校验:
- 确认输入数据的最后一维是1,匹配第一个RNN的输入特征维度
input_size=1 - 确认输入张量形状符合
(batch_size, seq_len, feature_size)的要求,和batch_first=True的参数匹配 - 不需要提前把训练张量搬到指定device上,PyTorch Lightning会自动处理张量的设备迁移,手动搬移反而可能在多卡训练时出现设备不匹配问题
内容的提问来源于stack exchange,提问作者Ramy Hanna
相关产品推荐
相关产品推荐

