PyTorch项目微调数据后loss.item()出现NaN问题求助

• 新数据带异常值：新数据里可能混了极端数值、NaN或者Inf这类异常样本，喂进模型后计算直接炸出NaN。赶紧对比新旧数据的数值范围，排查有没有离谱的样本。
• 学习率太高：微调阶段如果用的学习率比预训练时大太多，参数更新幅度直接拉满，很容易导致损失计算数值爆炸成NaN。试试把学习率往下调，比如从1e-4降到1e-5。
• 损失函数计算溢出：要是用了对数、除法这类敏感操作，新数据分布和旧数据差太多的话，就容易触发溢出。比如交叉熵损失里，模型输出概率趋近于0或者1时，取对数会出-inf，最后算出来就是NaN；或者目标标签本身有问题也会这样。
• 梯度炸了：新数据和预训练数据分布差异大，训练时梯度突然变得极大，参数更新后数值直接乱掉，后续损失自然算不对。可以加个梯度裁剪（torch.nn.utils.clip_grad_norm_）限制梯度范围。
• 预处理没对齐：新数据的预处理步骤和旧数据不一样，比如归一化用错了均值/标准差，导致输入数据尺度完全不对。仔细核对新数据的预处理代码，确保和旧数据的流程完全一致。

内容的提问来源于stack exchange，提问作者zzzw3838