如何在PyTorch优化器中手动使用梯度替代Autograd？

PyTorch的优化器没有apply_grads方法，但可以通过手动设置参数的.grad属性，再调用优化器的step()来实现你要的逻辑，具体步骤如下：

核心思路 #

优化器更新参数的逻辑依赖于参数的.grad属性——只要你把手动计算的梯度赋值给这个属性，再调用optimizer.step()，就能用手动梯度完成参数更新。

完整代码示例 #

import torch

# 初始化可训练参数X，必须设置requires_grad=True
X = torch.tensor(你的初始值, requires_grad=True, dtype=torch.float32)
optimizer = torch.optim.SGD([X], lr=0.01)

num_epochs = 100
for epoch in range(num_epochs):
    # 清空上一轮的梯度（PyTorch默认会累积梯度，必须手动清空）
    optimizer.zero_grad()
    
    # 计算损失：如果不需要Autograd追踪梯度，可以用torch.no_grad()包裹以节省计算资源
    with torch.no_grad():
        loss = my_function(X)
    
    # 用你的自定义函数计算手动梯度，务必保证gradients和X的形状、设备、数据类型完全一致
    gradients = compute_gradients_using_my_function(X, loss)
    
    # 将手动梯度赋值给X的.grad属性
    X.grad = gradients
    
    # 执行参数更新
    optimizer.step()

注意事项 #

• 手动计算的gradients必须和参数X的**形状、数据类型、运行设备（CPU/GPU）**完全匹配，否则会触发维度不匹配的错误。
• 如果有多个可训练参数（比如X和Y），要分别给每个参数的.grad属性赋值对应的梯度，再统一调用optimizer.step()。
• 每次迭代前必须清空梯度，要么用optimizer.zero_grad()，要么手动设置X.grad = None，否则新梯度会和旧梯度累加，导致更新逻辑错误。

内容的提问来源于stack exchange，提问作者user3131493