如何在PyTorch中手动计算特定权重的梯度？代码问题求助

你的代码存在几个关键问题，导致无法正确计算目标梯度：

1. 优化器未指定具体类 #

代码中self.optimizer = optimizer(self.parameters(), lr=0.2)的optimizer未明确是PyTorch的优化器类（比如torch.optim.SGD），会直接触发NameError，需要补全具体的优化器类型。

2. 输入数据维度易引发歧义 #

torch.nn.Linear(8,10)期望输入形状为(*, 8)（任意批量维度+8个特征），你的datai是一维张量(8,)，虽然PyTorch会自动处理，但建议转为二维张量(1,8)（代表1个样本、8个特征），明确计算逻辑。

3. 未触发反向传播计算梯度 #

要获取参数的梯度，必须调用backward()方法让PyTorch构建计算图并完成梯度计算。

修复后的完整代码 #

import torch

class wmodel(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.model = torch.nn.Linear(8, 10)
        self.lossfunc = torch.nn.BCELoss()
        # 补全优化器具体类，这里以SGD为例
        self.optimizer = torch.optim.SGD(self.parameters(), lr=0.2)

rrr = wmodel()
# 调整输入维度为(1,8)，明确是1个样本8个特征
datai = torch.tensor([1.,2,3,4,5,6,7,8]).unsqueeze(0)
target = torch.tensor([1.,2,3,4,5,6,7,8,9,10])

qan = rrr.model(datai)
loss = target - qan

# 针对loss[0]触发反向传播
loss[0].backward()

# 查看目标梯度
print("loss[0]对rrr.model.weight[0][0]的偏导数:", rrr.model.weight.grad[0][0])

关键说明 #

• 修复后，rrr.model.weight[0][0]会参与qan[0]的计算（qan[0] = sum(datai[0][j] * weight[0][j] for j in 0..7) + bias[0]），因此loss[0] = target[0] - qan[0]对该权重的梯度为-datai[0][0]，运行结果应为-1.0。
• 若要使用定义的BCELoss，需确保qan经过sigmoid激活（BCELoss要求输入为0-1区间的概率值），否则会出现数值异常，示例：

  qan = torch.sigmoid(rrr.model(datai))
  loss = rrr.lossfunc(qan, target.unsqueeze(0))
  

内容的提问来源于stack exchange，提问作者xzx