深度学习：PyTorch中的模型训练流程是怎样的？

我绘制了一张自己对模型运行流程的理解图（图示说明：我的初步理解），图中包含我对PyTorch模型训练流程的疑问，恳请专业人士详细解释PyTorch中模型训练的后续具体流程。

此外，感谢@Michael Hearn 的解答，我已整理相关信息完善了该图示（图示说明：完善后的流程）。

PyTorch模型训练后续具体流程 #

梯度反向传播 #

计算完损失值后，执行loss.backward()触发反向传播。PyTorch会沿着计算图从损失节点反向遍历，自动算出每个可训练参数的梯度，并把梯度存在参数的.grad属性里。

优化器更新参数 #

调用optimizer.step()，优化器会依据参数的梯度和自身的更新规则（比如SGD、Adam）调整模型参数。举个例子，SGD的更新逻辑是参数 = 参数 - 学习率 × 梯度。

梯度清零 #

参数更新完成后，必须执行optimizer.zero_grad()清空参数的梯度缓存。如果不清零，下一次反向传播时梯度会累加，导致参数更新出错。

迭代与验证（可选） #

• 训练循环里，每跑完一个batch或一个epoch后，可在验证集上评估模型性能，计算验证损失、准确率等指标，判断模型是否过拟合或者欠拟合。
• 根据验证结果调整训练策略，比如用lr_scheduler动态调整学习率，或者修改模型结构。

模型保存与加载 #

训练过程中定期保存模型的状态字典：torch.save(model.state_dict(), 'model.pth')，方便后续继续训练或部署。需要使用模型时，通过model.load_state_dict(torch.load('model.pth'))加载参数。

内容的提问来源于stack exchange，提问作者23Xor