关于seq2seq论文中“5个反转LSTM集成”与4层LSTM的疑问
关于Sutskever Seq2Seq论文(arxiv:1409.3215)的层数与集成疑问解答
这不是笔误,是你混淆了模型层数和模型集成两个完全不同的概念:
- 3.4节的“4层LSTM”指的是单个模型的结构:论文里每个独立的Seq2Seq模型,其编码器和解码器都采用了4层堆叠的LSTM。
- 3.6节的“5个反转LSTM的集成”指的是模型集成策略:研究者训练了5个结构完全一致(都是4层LSTM)的独立模型,每个模型的输入序列做了反转处理(比如把源句“X Y Z”改成“Z Y X”输入),最终实验时会综合这5个模型的输出结果来提升预测性能。
额外澄清:这里的“反转LSTM”不是指LSTM层的顺序反转,而是输入序列的反转;“集成”是多个同结构模型的组合,和单个模型的层数没有任何冲突。
内容的提问来源于stack exchange,提问作者dd123
相关产品推荐
相关产品推荐

