CIFAR100训练PreActResNet18时损失与精度出现尖峰问题排查

一、数据加载环节排查 #

• 分离训练/验证集增强逻辑：确保验证集仅执行归一化操作，避免随机增强（如随机裁剪、翻转）导致精度波动；可临时关闭所有数据增强，训练5-10轮观察尖峰是否消失，排查增强逻辑是否引入异常样本。
• 校验批次数据质量：随机抽取3-5个训练批次，检查样本标签是否匹配、像素值是否处于合理范围（归一化后通常为-1_1或01），若某批次存在标签错误或数据损坏，会直接引发损失尖峰。
• 调整数据加载器配置：尝试将num_workers设为0，用单进程加载数据，排除多进程数据加载时的资源冲突或初始化异常问题。

二、优化器与学习率调度排查 #

• 适配大批次的学习率：你的批次大小为384，常规大批次学习率需按线性比例缩放（如标准256批次对应0.1，384可设为0.15），当前0.001的初始学习率过小，易导致训练不稳定，建议调整至0.05~0.1区间，搭配余弦退火或step衰减策略。
• 检查学习率调度时机：确认调度器仅在每轮训练结束后更新学习率，避免在单batch训练中途错误调整，引发损失突变。
• 规范梯度清零操作：确保每个batch训练前执行optimizer.zero_grad()，避免梯度累积导致的参数更新异常。

三、网络与训练逻辑排查 #

• 严格控制BN层模式：训练时必须调用model.train()，验证时调用model.eval()，防止验证阶段误用训练模式的BN均值方差引发精度波动；同时检查BN层动量参数（默认0.9）是否与优化器动量混淆，避免数值不稳定。
• 检测梯度异常：在反向传播后打印梯度的均值、最大值和最小值，若出现NaN或超过1e5的极大值，说明存在梯度爆炸，可添加梯度裁剪：torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)。
• 排查混合精度问题：若开启了混合精度训练，尝试关闭该功能测试，或调整GradScaler的growth_factor等参数，避免数值下溢/溢出。

四、硬件与环境排查 #

• 监控GPU显存状态：训练时用nvidia-smi实时查看显存占用，若某批次显存突然飙升，大概率是数据加载异常导致张量形状错误，引发计算异常。
• 验证环境兼容性：检查CUDA版本与PyTorch版本是否匹配，关闭其他占用GPU的进程，避免资源竞争导致训练中断后恢复的异常。

五、快速定位测试 #

• 缩小训练规模：用32的小批次、0.1的初始学习率训练10轮，观察损失曲线是否平稳，排除大批次带来的不稳定因素。
• 替换基准网络：用普通ResNet18替代PreActResNet18训练，若尖峰消失，说明问题出在PreActResNet的结构细节（如残差连接的激活顺序）上。

内容的提问来源于stack exchange，提问作者Khawar Islam