使用LSTM进行时序二分类时全预测为正常类的问题求助

核心矛盾拆解 #

你遇到的问题存在明显矛盾：数据集接近平衡，但模型无论在训练还是测试阶段都只输出正常类；同时训练过程中损失持续下降、准确率飙升，最后一轮损失变为NaN。以下是具体原因分析和对应解决办法：

可能原因及解决方法 #

• LSTM激活函数选择错误
  LSTM单元的设计逻辑中，默认用tanh处理状态传递、sigmoid处理门控，这是经过验证的序列数据适配方案。你使用relu作为LSTM的激活函数，在2048步的长序列场景下极易导致梯度消失，使得模型无法学习到异常类的特征，最终只能输出看似"安全"的正常类。
  解决：将LSTM的激活函数改为默认的tanh：

  layer = LSTM(128)(visible)  # 无需手动指定activation，默认即为tanh
  

• 训练数值不稳定（Loss变为NaN）
  Epoch5出现loss: nan，说明训练过程中发生数值溢出/下溢，这会打断模型的有效学习，迫使模型退化为输出单一类别。
  解决：

  1. 数据归一化：对时间序列数据做标准化/归一化处理，例如用MinMaxScaler将数据缩至[0,1]范围，消除数值差异带来的训练波动；
  2. 调整优化器配置：将学习率从1e-5上调至1e-4，同时加入梯度裁剪防止梯度爆炸：

     optimizer = tf.keras.optimizers.Adam(learning_rate=1e-4, clipnorm=1.0)
     

  3. 清理数据集：检查数据中是否存在NaN、无穷大或极端异常值，提前过滤处理。

• 标签映射与评估逻辑错位
  训练准确率高达97%但全预测正常类，大概率是标签映射或评估逻辑出现偏差：比如正常类标签被映射为1，模型全输出1时准确率计算看似正确，但实际完全没有学习到异常类特征。
  解决：

  1. 打印训练集标签分布，确认y_train中两类样本数量确实接近平衡；
  2. 生成混淆矩阵，直观查看模型的分类结果：

     from sklearn.metrics import confusion_matrix
     # 假设y_test是原始标签（非one-hot格式）
     cm = confusion_matrix(y_test, predicted_labels)
     print("混淆矩阵:\n", cm)
     

  3. 验证to_categorical与argmax的对应关系：确保to_categorical的类别顺序和argmax(y_pred, axis=1)的结果能正确映射到你定义的正常/异常类。

• 模型容量与训练策略不足
  单LSTM层128单元对于2048步的序列可能容量不足，且训练轮次不足、无正则化措施易导致模型过拟合或学习不充分。
  解决：

  1. 添加正则化：在LSTM层后加入Dropout层防止过拟合：

     layer = LSTM(128)(visible)
     layer = Dropout(0.2)(layer)
     

  2. 优化训练流程：增加训练轮次（如20轮），同时加入早停机制监控验证集指标，避免无效训练并保留最优模型：

     from tensorflow.keras.callbacks import EarlyStopping
     # 建议用F1指标替代accuracy，避免单一类别预测导致的指标失真
     early_stop = EarlyStopping(monitor='val_f1', patience=3, restore_best_weights=True)
     

  3. 尝试双向LSTM：捕捉序列前后的特征信息，提升模型对异常模式的识别能力：

     from tensorflow.keras.layers import Bidirectional
     layer = Bidirectional(LSTM(128))(visible)
     

内容的提问来源于stack exchange，提问作者AI_user