Rstudio Keras中layer_attention两种网络接入结构合理性问询

两种结构合理性分析 #

没有绝对的“正确”，需结合任务特性选择，绝大多数时序分类/回归场景下，LSTM(return_sequences = T) - Attention - LSTM(return_sequences = F)的合理性更高，另一种Flatten方案仅在极特殊场景下适用。

第一种结构的核心优势 #

• 完整保留时序信息传递逻辑：Attention层输出的仍是(batch_size, 序列长度, 特征维度)的3D时序张量，接return_sequences=F的LSTM，本质是对经过注意力加权后的时序特征做二次上下文聚合，最终输出的2D张量是聚合了全序列依赖关系的特征向量，不会破坏时序特征的结构，和你的时序分类任务目标更匹配。
• 过拟合风险更低：你当前设置的序列长度仅为4，Flatten会把4*16=64维的特征直接展开输入后续全连接层，而第二个LSTM仅输出16维聚合特征，参数量更少，小数据集下不容易过拟合。

第二种Flatten结构的适用范围 #

仅当你的任务中不同时间步的特征本身是独立的分类依据，不需要再做上下文聚合时适用，比如每个时间步的特征都是独立的统计量、不需要考虑先后顺序。这种方案的劣势也很明显：直接展平会完全丢失时序的先后顺序信息，相当于把经过LSTM、Attention提取的时序特征直接当成普通表格特征处理，浪费了前面网络层提取到的时序依赖特性。

你当前代码的可优化点 #

• 第二个LSTM层你写的input_shape = list(lstm_seq_len, nfeatures)参数是错误的，第一个LSTM输出的特征维度是16，不是你设置的原始特征维度2，Keras会自动推导输入维度，建议直接删掉这个冗余且错误的参数。
• 你当前设置的学习率1e-5过小，搭配BatchNormalization层的情况下，可以把学习率调到1e-4~1e-3区间，训练收敛速度会提升很多。

内容的提问来源于stack exchange，提问作者alexeymosco