Keras LSTM三分类模型验证准确率停滞、预测结果趋同问题

问题原因 #

1. 时序窗口长度不足：原定历史滞后窗口为50，实际仅用7个时间步，输入包含的时序模式信息极少，模型无法提取到足以区分类别的有效特征。
2. 模型容量不足且结构不合理：堆叠4层仅7个单元的LSTM，模型表征能力过差，同时0.02的dropout比率几乎无正则效果，过深的小参数量LSTM堆叠反而容易引发梯度消失，导致训练不动。
3. 数据预处理缺失：输入特征取值为17-25区间的浮点数，未做归一化处理，LSTM对输入尺度敏感，会直接影响训练收敛效果。
4. 大概率存在类别不平衡问题：验证集准确率稳定在0.4011，恰好符合多数类占比的特征，模型实际未学习到任何分类逻辑，仅输出偏向多数类的固定概率分布，导致所有样本预测结果趋同。

优化方案 #

• 基础检查与预处理
  • 统计训练集、测试集的三类标签分布，确认是否存在类别不平衡，若存在可通过类别权重、过采样/欠采样方式修正。
  • 对输入时序特征做归一化处理，使用StandardScaler或MinMaxScaler将数据缩放至[-1,1]或[0,1]区间，适配LSTM的输入要求。
• 调整时序窗口
  • 将历史滞后窗口从7恢复为原定的50，保证输入包含足够的时序变化信息。
• 重构模型结构
  • 减少LSTM堆叠层数至1-2层，单层LSTM单元数调整为32或64，大幅提升模型表征能力。
  • dropout比率调整为0.2-0.3，起到有效正则作用。
  • 可在LSTM层后新增1层全连接隐层（如16个单元，ReLU激活），再连接3分类softmax输出层，进一步提升分类能力。
• 优化训练配置
  • 保留Adam优化器，可新增学习率衰减策略，每10轮训练将学习率乘以0.1，或切换为AdamW优化器加入权重衰减。
  • 训练时加入早停机制（EarlyStopping），监控验证集损失，patience设为5，避免无效训练与过拟合。
  • 若存在类别不平衡，编译模型时传入class_weight参数，提升少样本类别的损失权重。

内容的提问来源于stack exchange，提问作者LowCoder