PyTorch拟合过程中梯度提取报错，如何正确获取梯度？

核心错误原因 #

1. loss.backward()无返回值：你把grad = loss.backward()赋值，导致grad变成None，后续执行grad.append()自然触发AttributeError。
2. 训练流程顺序完全错误：PyTorch的标准训练步骤是清空梯度→前向传播→计算损失→反向传播→更新参数，你的代码顺序颠倒，导致梯度和参数的逻辑混乱。
3. 变量未初始化：sumNorm2Gradient没有初始值就直接累加，会引发未定义错误。
4. API使用错误：detach().cpu是属性引用，正确的应该是调用方法detach().cpu()；self.parameters()返回生成器，需要转为列表才能遍历。

修正后的代码 #

def get_theta(self):
    # 将参数转为列表，再逐个处理后返回
    theta = [param.detach().cpu() for param in self.parameters()]
    return theta

def J_loss(self, xb, yb):
    return F.cross_entropy(self.forward(xb.to(device)), yb.to(device))

def fit(self, loader, epochs=1999):
    norm2Gradient = 1.0
    sumNorm2Gradient = 0.0  # 初始化累加变量
    current_epoch = 0
    while norm2Gradient > 1e-3 and current_epoch < epochs:
        current_epoch += 1
        epoch_grad_norm_sum = 0.0
        for _, batch in enumerate(loader):
            x, y = batch['x'], batch['y']
            
            # 1. 清空旧梯度（必须放在最前面）
            self.optimizer.zero_grad()
            
            # 2. 前向传播计算损失
            loss = self.J_loss(x, y)
            
            # 3. 反向传播计算梯度（无返回值，梯度会存在param.grad中）
            loss.backward()
            
            # 4. 收集当前所有参数的梯度
            grad_list = []
            for param in self.parameters():
                # 只收集需要更新的参数的梯度（排除不需要梯度的参数）
                if param.grad is not None:
                    grad_list.append(param.grad.detach().flatten())
            
            # 5. 计算梯度的L2范数
            grad_tensor = torch.cat(grad_list)
            norm2Gradient = torch.linalg.norm(grad_tensor).item()
            epoch_grad_norm_sum += norm2Gradient
            
            # 6. 更新参数
            self.optimizer.step()
        
        sumNorm2Gradient += epoch_grad_norm_sum
        print(f"Epoch {current_epoch}, Gradient L2 Norm: {norm2Gradient:.6f}")
    
    return sumNorm2Gradient

关键修正点说明 #

• 梯度收集逻辑：反向传播后，梯度会被存储在每个参数的param.grad属性中，不需要从backward()获取返回值，只需遍历参数列表提取即可。
• 训练顺序修正：严格遵循zero_grad()→forward→loss→backward→step()的流程，避免梯度污染或参数更新错误。
• 梯度范数计算：将所有梯度张量展平后拼接成一个大张量，再计算L2范数，确保计算的是全局梯度的范数。
• 变量初始化：提前初始化sumNorm2Gradient，避免未定义错误。

内容的提问来源于stack exchange，提问作者K Medlin