LeNet训练时train_l、train_acc、test_acc无变化问题求助

• 学习率不合理
  学习率过大时参数会在最优值附近震荡，过小则参数几乎不更新。
  解决：先尝试将学习率从常用的1e-3降到1e-4或1e-5，观察指标变化；也可以用torch.optim.lr_scheduler.StepLR这类调度器动态调整学习率，或者先跑2-3个小epoch测试不同学习率的效果。

• 数据预处理错误
  常见问题包括未做归一化、归一化的均值/标准差错误，或者标签格式与损失函数不匹配（比如CrossEntropyLoss要求标签是类别索引而非one-hot向量，反之如果用MSELoss则需要one-hot标签）。
  解决：确认图像归一化到合适范围（比如用自身数据集的统计均值和标准差，或ImageNet的通用值）；检查标签格式，确保和损失函数要求一致，比如分类任务打印几个标签值，确认是0到num_classes-1的整数。

• 模型初始化异常
  卷积层或全连接层的权重初始化不当，比如初始值过大导致梯度爆炸，过小导致梯度消失，会让模型无法有效学习。
  解决：使用PyTorch内置的初始化方法，比如针对ReLU激活用nn.init.kaiming_normal_，针对sigmoid/tanh用nn.init.xavier_normal_；避免手动修改参数初始值，若必须修改，先小范围测试。

• 损失/优化器配置错误
  损失函数和任务不匹配（比如分类任务用MSELoss）、优化器未正确传入模型参数（比如漏传部分层的参数）、动量或权重衰减设置极端，都会导致模型不更新。
  解决：确认损失函数与任务匹配（分类用CrossEntropyLoss，回归用MSELoss）；检查优化器初始化代码，确保传入model.parameters()；尝试调整动量（常用0.9），暂时去掉权重衰减，或换用Adam优化器对比效果。

• 梯度消失/爆炸
  即使LeNet层数不多，若用sigmoid/tanh激活函数，容易出现梯度消失；权重初始值不当也会引发梯度爆炸。
  解决：将sigmoid/tanh替换为ReLU或LeakyReLU；添加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)；检查网络结构是否有冗余层，简化不必要的模块。

• 数据加载问题
  比如每个batch的数据完全相同、标签全部为同一类别，或DataLoader未开启shuffle，都会让模型无法学习到有效特征。
  解决：打印几个batch的图像和标签，确认数据多样且标签对应正确；设置DataLoader(shuffle=True)；检查数据集划分，确保训练集和测试集包含不同类别的样本。

• 模型模式错误
  训练时未调用model.train()，模型处于评估模式，此时批量归一化和dropout层不工作，梯度也不会更新。
  解决：训练循环开头添加model.train()，测试阶段添加model.eval()。

• 梯度计算/更新流程错误
  忘记调用loss.backward()、optimizer.step()顺序错误，或训练代码被torch.no_grad()包裹，都会导致梯度无法计算或参数不更新。
  解决：严格遵循训练流程：计算loss → loss.backward() → optimizer.step() → optimizer.zero_grad()（注意zero_grad要在下次计算loss前执行）；确保训练代码没有被torch.no_grad()或torch.inference_mode()包裹。

内容的提问来源于stack exchange，提问作者fbbf