Keras损失输出NaN疑似梯度爆炸？LSTM天体物理时间序列二分类训练异常求助

针对黑洞/非黑洞天体物理时间序列的二分类任务中，训练损失不降反升、最终输出NaN的问题，可按照从高到低的概率优先级逐层排查，无需无意义的全量训练试错：

数值稳定性类问题（最高概率触发原因） #

• 输入脏数据触发溢出：天体物理时间序列常包含测光尖峰、极端误差值，这类未经过滤的极大/极小值会直接让LSTM的tanh激活输出超出浮点表示范围，反向传播时的梯度连带推高损失值。检查时可逐张量统计所有训练样本的输入值分布，确认不存在inf、nan的异常值，对超过3倍标准差的极端尖峰做截断处理。
• 损失函数的数值漏洞：二分类任务优先使用带logits的原生损失实现（比如BCEWithLogitsLoss），不要手动在网络输出层加sigmoid后再套基础BCELoss，这种组合会在输出值逼近0或1时触发log(0)计算，直接输出NaN。如果自行实现损失逻辑，需要对输入logits做数值范围裁剪，避免计算过程中出现除零问题。
• 梯度爆炸：可在训练循环中插入梯度范数监控代码，若初始几个batch的全局梯度范数突破1e3量级，即可确定为梯度爆炸。常规解决方式为反向传播后加梯度裁剪，设置max_norm=1.0的阈值即可，无需设置过大的裁剪上限。

数据预处理类问题 #

• 归一化逻辑错误：如果归一化的统计量是用未剔除异常值的全量数据计算的，或是把测试集的数据泄露进了归一化流程，会导致输入特征的数值跨度极大，触发激活值溢出。检查时需确认输入特征经归一化后，数值范围稳定落在[-3,3]或[0,1]的常规区间内，不存在分布偏移。
• 标签编码错误：确认所有样本的标签严格映射为0（非黑洞）、1（黑洞）两类，不存在字符串标签、越界标签值被隐式转换为NaN的问题，这类错误会直接让损失计算返回无意义的数值。

训练配置类问题 #

• 学习率设置过高：LSTM的序列梯度路径较长，若初始学习率高于1e-2，很容易在前几个迭代就把权重更新到数值溢出的区间。可先将学习率降到1e-4量级，用小批量数据跑前10个batch，若损失可稳定不再发散，即可确认原学习率设置过高。
• 隐藏层配置失当：检查LSTM输出后的全连接层配置，若连续叠加多层未加层归一化的全连接层，激活值会在连续矩阵乘法后指数级放大；若使用了批量归一化层，过小的batch size会导致BN的移动统计量估算偏差，同样会触发数值不稳定。

快速定位验证流程 #

不用启动全量训练，按以下三步快速缩小问题范围：

1. 固定取1个批次的训练数据，关闭梯度计算，连续跑100次前向传播，观察模型输出值是否会从正常范围逐步变成inf/NaN，以此定位是否为模型层的激活值溢出问题
2. 把学习率降低10倍，关闭dropout、权重正则等模块，跑5个batch的短流程训练，观察损失是否能保持稳定不上升
3. 单独抽取损失函数的计算逻辑，用随机生成的极端logits值做单元测试，排查损失计算环节是否存在除零、对数零值的计算漏洞

内容的提问来源于stack exchange，提问作者user15812589