PyTorch实现YOLOv1训练出现NaN值，请求问题排查

一、模型结构排查 #

• 检查激活函数：YOLOv1最后一层是线性层，无需ReLU，但要警惕中间层Softmax的数值溢出问题——可以用torch.nn.Softmax(dim=-1)，并在计算前对输入做缩放，避免数值过大触发NaN。
• 权重初始化：确认卷积层、线性层的初始化逻辑，优先用nn.init.xavier_uniform_或nn.init.kaiming_normal_，避免初始权重过大导致输出爆炸。
• 批量归一化：如果用了BN层，检查track_running_stats在训练时是否设为True，同时确认eps值（默认1e-5即可，改小会增加分母为0的风险）。

二、损失函数排查（NaN高发区） #

YOLOv1的自定义损失是核心排查点：

• 边界框回归损失：计算IOU时必须加极小值（比如1e-6），避免预测框/真实框宽高为0导致除以0。
• 置信度损失：用交叉熵类损失时，先对预测置信度做截断：torch.clamp(pred_conf, 1e-6, 1-1e-6)，防止log(0)或log(1)产生无穷大。
• 类别损失：同理，对Softmax输出的类别预测做截断处理，规避log运算的异常值。
• 损失权重：检查边界框损失的权重（YOLOv1默认是5），如果权重过大，预测偏差稍大就会触发损失爆炸，进而导致梯度爆炸、参数更新后出现NaN。

三、数据集与预处理排查 #

• 标注数据校验：查看数据集里的真实框是否有异常值，比如宽高为0、坐标超出0-1范围（YOLOv1要求坐标归一化到0-1），这类异常标注直接导致损失计算崩溃。
• 数据增强检查：如果用了随机裁剪、缩放，要确保增强后的框坐标合法，避免出现宽高为负的情况，增强后必须对框做校验和修正。
• 输入归一化：确认图像是否正确归一化到0-1或-1到1区间，输入数据过大也会引发模型输出爆炸。

四、训练过程排查 #

• 学习率调整：过高的学习率是NaN常见诱因，比如初始设0.1的话，直接降到1e-4或1e-5试试。
• 梯度裁剪：在反向传播前加入torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)，强制限制梯度范围，避免梯度爆炸导致参数更新异常。
• 批量大小：如果batch太小，BN层的统计值会不稳定，试试增大batch，或者临时关闭BN层调试。
• 中间值打印：在训练循环中，每隔几个batch打印模型输出的极值、损失各组成部分的数值、梯度最大值，精准定位哪一步开始出现NaN。

内容的提问来源于stack exchange，提问作者Xing