堆叠Bi-LSTM与单层Bi-LSTM多类别文本分类效果无差异问题咨询
两层堆叠Bi-LSTM与单层训练效果无明显差异的常见原因
结合你给出的代码实现,这类现象通常由以下几类具体因素导致:
- 堆叠层的特征容量不足,没有发挥深层网络的作用
你第一层Bi-LSTM的配置是双向64隐藏单元、输出全时序序列,也就是每个时间步会输出128维的浅层时序语义特征;但第二层直接把隐藏单元压缩到双向34,每个时间步仅输出68维特征,相当于对上层128维的原始特征做了接近50%的硬压缩,再叠加0.4的输入dropout和循环dropout,第二层能捕获到的组合语义特征非常有限。同时你第二层直接关闭全序列输出、取最后一个时间步的特征接分类头,没有给第二层足够的空间做高层特征提炼,实际表现和“去掉第二层、把第一层改成return_sequences=False”的单层配置几乎没有区别。 - 正则强度过高抑制了层间的有效特征传递
你在两层LSTM上同时开启了0.4的输入dropout和0.4的循环dropout,两层网络本身比单层的拟合能力更强,叠加上这么高的随机失活比例后,第二层接收到的第一层输出已经被随机掩码掉40%的信息,自身循环门的状态又被随机掩码掉40%,根本没法发挥深层网络对长程依赖、组合语义的捕获优势,最终泛化能力被拉回和单层模型相当的水平。 - 任务本身的复杂度无需更深的网络结构
你的任务是3分类场景,如果数据集本身的语义区分度较高,仅靠浅层的词级特征、局部语义片段就能完成类别区分(比如短文本的情感三分类),那么1层Bi-LSTM已经足够把任务所需的特征学透。额外增加的第二层网络没有对应的任务规律可以拟合,新增的参数只会成为冗余,自然不会带来可感知的效果提升。 - 长序列场景下的层间梯度传递失效
你设置的序列长度为409,本身属于偏长的文本序列,两层堆叠Bi-LSTM在反向传播时,梯度从第二层回传到第一层、再传到Embedding层的过程中,会随着传播层数增加、序列长度变长逐步衰减。再加上开启的循环dropout会随机打断循环门的连续状态传递,实际训练中第一层LSTM的权重很可能已经停止有效更新,等于整个网络实际只有第二层在参与训练,和单层模型的训练状态没有本质差异。
可针对性验证和调整的方向:
- 保持两层LSTM的隐藏单元维度一致,比如都采用64维双向配置,不要在第二层直接压缩特征维度,给第二层足够的容量提炼高层语义
- 适当降低LSTM内部的正则强度,比如把
recurrent_dropout调整到0.2,输入dropout保留0.3左右,避免正则过强- 做消融验证:把第一层LSTM的
trainable属性设为False,对比最终模型效果,如果和原两层模型的效果几乎完全一致,就说明层间梯度传递完全失效,第一层没有参与有效训练
内容的提问来源于stack exchange,提问作者eli
相关产品推荐
相关产品推荐

