TensorFlow/Keras中使用Sparse Categorical CrossEntropy出现负损失问题

一、无激活Dense层+from_logits=True时损失为负的原因 #

• 掩码处理错误：Transformer训练必须对padding部分的token做损失掩码（不计算这些位置的损失）。如果训练时未正确应用掩码，损失计算会包含无效padding token，甚至出现符号异常。检查损失计算代码，是否用sample_weight或掩码矩阵过滤padding位置，比如：

  loss = loss_fn(y_true, y_pred, sample_weight=mask)
  

  回调测试时可能手动处理了掩码，所以损失正常，训练时未处理导致异常。
• 标签与输出维度不匹配：你的token共33种（0-32），最后一层Dense的输出维度必须设为33。若输出维度小于33，logits无法对应所有标签（比如start=31、end=32），会导致交叉熵计算出现数值异常。
• 损失归约或自定义计算错误：如果损失函数设置了reduction=tf.keras.losses.Reduction.SUM而非默认的平均方式，或自定义训练循环中误将损失取反，都可能导致日志显示负损失。

二、加softmax后损失停滞的原因 #

• 梯度消失问题：Transformer本身包含多层注意力和前馈网络，最后一层加softmax会进一步压缩梯度。当模型输出的概率分布过早集中（比如落在高频token上），梯度会变得极小，模型无法更新。
• 局部最优陷阱：from_logits=False时，损失直接对概率计算交叉熵。若模型初期学会输出某个高频无效token（比如0、start或end），交叉熵会维持在低水平（0.274对应约75%的概率），但实际预测完全无效，且梯度无法推动模型跳出局部最优。
• 学习率不匹配：加softmax后梯度幅度变小，原学习率可能不足以推动模型更新，导致损失停滞。尝试调小学习率（比如从1e-4降到1e-5）或使用学习率调度器。

三、修复建议 #

• 优先保留from_logits=True配置：这是TensorFlow官方推荐的方式，能避免softmax带来的数值不稳定和梯度消失问题。重点排查：
  1. 最后一层Dense输出维度必须为33（覆盖0-32所有token）。
  2. 训练时正确应用损失掩码，将标签中的padding token设为-100，同时设置SparseCategoricalCrossentropy(ignore_class=-100)，自动忽略无效位置的损失计算。
• 验证模型输出：用少量样本测试模型的logits输出，确认维度正确、数值范围合理，再手动计算损失验证是否正常。
• 调整训练策略：若from_logits=True配置正常后损失下降缓慢，可尝试调整batch size、添加Dropout正则化，或使用余弦退火学习率调度器。

内容的提问来源于stack exchange，提问作者Dr Sokoban