语音情感识别中LSTM模型准确率偏低问题求助

一、数据与特征层面排查 #

• 特征序列格式验证：确认细胞数组中每个元素的维度为时间步×特征数（即T×39的矩阵，T为单条语音的时序长度），LSTM要求输入序列是时间步在前的格式，格式错误会完全破坏时序信息，导致模型无效。
• 特征归一化处理：MFCC特征数值范围差异大，未做归一化（如Z-score、Min-Max归一化）会导致模型训练不稳定，梯度异常。建议对每个MFCC特征维度单独做归一化，统一数值区间。
• 标签分布检查：查看标签YCA的分布是否均衡，若某类占比过高（如超80%），模型会偏向预测多数类，拉低整体准确率。可通过histogram(YCA)查看分布，不均衡时需做过采样、欠采样或调整损失权重。
• 数据集划分合理性：确认训练集与测试集是严格独立的，避免同一说话人的语音同时出现在两个集合中，数据泄露会严重降低模型泛化能力。

二、模型结构调整 #

• LSTM输出模式优化：当前用OutputMode='last'仅取最后一个时间步输出，丢失大量时序情感信息。建议改为OutputMode='sequence'后接全局池化层（globalAveragePoolingLayer或globalMaxPoolingLayer），更好捕捉全序列的情感特征。
• 隐藏单元数量缩减：1024个隐藏单元对280个训练样本来说规模过大，易引发过拟合。可先尝试缩小到256或128，观察训练曲线变化。
• 堆叠多层LSTM：单一层LSTM难以捕捉复杂时序特征，可尝试堆叠两层LSTM，示例结构如下：

  layers = [
  sequenceInputLayer(num_features)
  lstmLayer(256, 'OutputMode', 'sequence')
  lstmLayer(128, 'OutputMode', 'last')
  fullyConnectedLayer(num_classes)
  softmaxLayer
  classificationLayer];
  

三、训练参数优化 #

• 调整学习率与训练轮次：初始学习率0.001对小样本来说可能偏大，易导致模型震荡无法收敛。可降低到0.0001，同时将训练轮次提升至50-100，观察损失曲线是否平稳下降。
• 序列长度处理方式修改：SequenceLength='shortest'会截断长序列到batch内最短长度，丢失大量有效信息。建议改为SequenceLength='longest'并设置填充值，保留完整序列：

  options = trainingOptions('adam', ...
      'MaxEpochs', 50, ...
      'MiniBatchSize', 16, ...
      'InitialLearnRate', 0.0001, ...
      'SequenceLength','longest', ...
      'PaddingValue', 0, ...
      'Shuffle','every-epoch',...
      'ExecutionEnvironment','gpu', ...
      'Verbose', false, ...
      'Plots','training-progress');
  

• 缩小批量大小：28的batch size对应每个epoch仅迭代10次，模型更新频率过低。可缩小到8或16，增加迭代次数，提升收敛速度。

四、训练曲线分析 #

结合训练进度图重点关注：

• 训练损失与验证损失的趋势：若训练损失持续下降但验证损失上升，说明过拟合，需添加dropoutLayer(0.2)在LSTM层后抑制过拟合；若两者均无下降趋势，说明模型不收敛，需调整学习率或特征处理方式。
• 训练准确率与验证准确率的差距：差距过大同样指向过拟合，需结合数据集规模调整模型复杂度。

内容的提问来源于stack exchange，提问作者Hamza