PyTorch拟合时提取参数与梯度L2范数的报错及疑问解答

问题概述 #

在PyTorch训练循环的fit函数中尝试提取模型参数及梯度的L2范数，修正代码后运行出现AttributeError: 'NoneType' object has no attribute 'append'，错误出现在grad.append(param.grad)行。打印发现grad变量为None，原代码试图通过grad = loss.backward()捕获梯度；同时疑问theta = self.parameters()是否能正确捕获模型参数，需要正确的参数与梯度获取方法。

错误原因 #

loss.backward()是原地操作，它不会返回任何值（即返回None），而是将计算出的梯度直接存储在模型每个参数的.grad属性中。原代码将loss.backward()的返回值赋值给grad，导致grad为None，后续调用append自然报错。

关键问题修正 #

1. 正确捕获模型参数 #

self.parameters()返回的是一个参数生成器，无法直接遍历操作；且.detach()和.cpu()是方法，需要加括号调用。修正后的参数获取函数：

def get_theta(self):
    # 转换为列表，分离计算图并转移到CPU
    theta = [param.detach().cpu() for param in self.parameters()]
    return theta

2. 正确捕获梯度并计算L2范数 #

• 不能通过loss.backward()获取梯度，需手动初始化列表存储每个参数的.grad
• 建议在optimizer.step()之前收集梯度（避免后续操作意外清除梯度）
• 收集梯度时需确保每个参数的.grad存在（已执行loss.backward()且未调用zero_grad()）

完整修正代码 #

def get_theta(self):
    # 正确获取模型参数：转为列表，分离计算图并移至CPU
    theta = [param.detach().cpu() for param in self.parameters()]
    return theta

def fit(self, loader, epochs=2000):
    norm2Gradient = 1.0
    sumNorm2Gradient = 0.0  # 初始化累加变量
    current_epoch = 0
    while norm2Gradient > 1e-3 and current_epoch < epochs:
        current_epoch += 1
        for _, batch in enumerate(loader):
            x, y = batch['x'], batch['y']
            # 计算损失并取均值
            loss = self.loss(x, y).mean()
            
            # 清除旧梯度
            self.optimizer.zero_grad()
            # 反向传播计算梯度（梯度存储在参数的.grad属性中）
            loss.backward()
            
            # 收集所有参数的梯度
            grad_list = []
            for param in self.parameters():
                # 确保梯度存在，避免空值
                if param.grad is not None:
                    # 分离计算图并移至CPU，避免影响训练
                    grad_list.append(param.grad.detach().cpu())
            
            # 计算梯度的L2范数（需将所有梯度展平后拼接为一维张量）
            if grad_list:
                norm2Gradient = torch.linalg.norm(torch.cat([g.flatten() for g in grad_list]))
                sumNorm2Gradient += norm2Gradient.item()  # 转为Python数值累加
            
            # 更新模型参数
            self.optimizer.step()
    
    return sumNorm2Gradient

额外说明 #

• torch.linalg.norm需要输入一维张量，因此需将所有梯度张量展平后拼接
• 累加梯度范数时，用.item()将张量转为Python数值，避免占用GPU内存
• 修正了循环条件逻辑：原代码norm2Gradient <10e-3不符合训练终止逻辑，改为norm2Gradient > 1e-3（当梯度范数大于阈值时继续训练）

内容的提问来源于stack exchange，提问作者K Medlin