TensorFlow LSTM小时级用量预测输出恒定相同值问题咨询

• 激活函数选择错误
  两层LSTM和输出层均使用ReLU激活是核心问题之一：LSTM原生默认使用tanh作为循环激活函数，搭配ReLU极容易触发梯度消失，导致大量神经元失活，输出无差异；如果目标值经过RobustScaler缩放后存在负值，输出层的ReLU会直接截断所有负值输出，进一步导致结果同质化。你得到的恒定值大概率是训练集目标值的均值，模型退化为直接预测全局均值获取最小MSE损失，完全没有学到时序特征。
• 模型容量与数据规模不匹配
  两层1024单元的LSTM总参数量达1374万，但训练样本仅不到5万条，过高的模型容量要么容易过拟合，要么在训练初期就出现梯度爆炸/消失，参数更新异常，最终所有样本输出一致。
• 验证集使用不规范
  直接将测试集作为验证集传入训练过程，早停和最优模型保存都基于测试集指标，当模型无法学到有效特征时，会快速收敛到「输出全局均值」的局部最优解，早停机制会直接保留该状态的模型，不会继续探索更优参数。
• 优化器配置不适配
  使用Adam优化器默认学习率（1e-3）对大参数量LSTM来说明显偏高，容易导致训练初期梯度爆炸，参数更新后所有神经元输出饱和，最终产生恒定输出；如果训练过程中训练损失和验证损失全程没有明显下降，即可确认是梯度传播异常导致模型没有实际训练。
• 数据构造存在隐患
  可优先排查两个基础问题：一是输入的72小时时序特征的时间顺序是否正确，顺序颠倒会导致LSTM无法捕捉时序依赖；二是训练集标签y_train的分布是否正常，是否存在构造错误导致所有标签值接近。

• 将LSTM的激活函数改回默认的tanh，输出层去掉ReLU激活（回归任务无需输出层激活，除非明确目标值范围为非负且需要截断）
• 先降低模型容量，比如将LSTM单元数调整为128或256，减少参数量，规避梯度问题
• 从训练集中单独划分验证集，不得使用测试集做验证，避免数据泄露
• 调低Adam学习率到1e-4或1e-5，也可加入梯度裁剪策略防止梯度爆炸
• 提前校验训练集、测试集的特征和标签构造逻辑，确认输入输出的对应关系无误

内容的提问来源于stack exchange，提问作者최영준