PyTorch梯度与解析、扰动近似梯度存在差异求助

梯度不一致问题排查要点 #

• 对齐损失函数逻辑：PyTorch的nn.CrossEntropyLoss内置了softmax操作，且默认对batch样本损失取均值。如果手动实现时额外叠加softmax，或损失计算用总和而非均值，会直接导致梯度缩放比例错误。比如手动用F.log_softmax搭配NLLLoss时，要确保NLLLoss的reduction参数和CrossEntropyLoss一致。
• 修正扰动近似流程：扰动近似的步长建议设为1e-6左右，且必须保证参数扰动后能及时恢复。错误的操作（比如扰动后未恢复就继续计算）会污染参数，导致近似梯度完全错误。正确示例：

  eps = 1e-6
  original_val = param.data.clone()
  param.data += eps
  loss_plus = compute_loss(model, x, y)
  param.data = original_val - eps
  loss_minus = compute_loss(model, x, y)
  param.data = original_val
  grad_approx = (loss_plus - loss_minus) / (2 * eps)
  

• 检查参数梯度跟踪状态：确认所有参与计算的模型参数requires_grad都设为True，没有被意外冻结。同时避免使用in-place操作（如param.add_()），这类操作会破坏PyTorch的计算图，导致梯度计算异常。
• 核对解析梯度的batch处理：手动推导解析梯度时，要严格对应损失的聚合方式。如果损失是batch均值，解析梯度必须除以batch_size；如果是总和则不用。比如交叉熵对权重的解析梯度，正确形式应为(pred_onehot - label_onehot) @ inputs / batch_size，漏掉除法会让梯度是PyTorch结果的batch_size倍。
• 逐参数精细化对比：不要只看整体差异，逐个提取参数的梯度（如model.fc.weight.grad），用torch.allclose(grad_pytorch, grad_manual, rtol=1e-3, atol=1e-5)判断是否在浮点误差允许范围内。若差异显著，聚焦该参数对应的前向/反向传播逻辑排查。

Mini-batch的作用与梯度使用方式 #

• 核心作用：
  • 降低内存压力：无需一次性加载全量数据集，适配大模型或大显存场景，CIFAR-10虽小，但这是通用解决方案。
  • 加速迭代更新：全量梯度计算耗时久，mini-batch的梯度是带噪声的近似值，但能让参数更新更频繁，实践中收敛速度更快。
  • 隐式正则化：梯度噪声能避免模型过度拟合训练数据，提升泛化能力。
• 梯度使用规则：
  PyTorch默认计算的梯度是当前batch内所有样本梯度的均值——这是因为损失函数默认对batch取均值，反向传播的梯度自然对应均值。如果将损失函数的reduction设为sum，则梯度是所有样本梯度的总和。优化器执行step()时，就是基于这个均值（或总和）梯度更新参数。手动计算时，对每个样本的梯度取均值，结果和PyTorch默认行为完全一致。

内容的提问来源于stack exchange，提问作者Nomi Mino