获取PyTorch神经网络权重为带梯度张量的高效方法

核心结论 #

你对list(net.parameters())的特性存在误解：该操作不会破坏梯度跟踪，转换得到的列表中每个元素都是原网络参数的引用，只要没有主动调用detach()、或者将参数转为普通张量，梯度链会全程保留。

常用的权重获取方案（均保留梯度） #

1. 直接遍历net.parameters()（最高效） #

如果你只需要遍历参数做实时操作（比如梯度裁剪、计算正则项），不需要长期存储所有参数的引用，直接遍历迭代器即可，没有额外的内存开销：

for param in net.parameters():
    # 直接对param做任意需要的操作，梯度自动保留
    print(param.requires_grad) # 输出为True

2. 转列表存储（无梯度丢失风险） #

如果你确实需要把所有参数暂存为列表复用，直接用list(net.parameters())即可，完全不会丢失梯度：

param_list = list(net.parameters())
# 取第0层（即fc1的权重）
fc1_weight = param_list[0]
print(fc1_weight.requires_grad) # 输出为True

3. 带参数名获取（方便定位指定层参数） #

如果需要按层名获取对应参数，可以使用net.named_parameters()，返回值是(参数名, 参数张量)的迭代器，同样支持转列表，梯度全程保留：

# 遍历获取所有参数及对应名称
for name, param in net.named_parameters():
    print(f"参数名：{name}，是否保留梯度：{param.requires_grad}")

# 单独获取fc3层的权重
fc3_weight = dict(net.named_parameters())["fc3.weight"]

常见梯度丢失的原因排查 #

如果你发现转列表后参数丢失了梯度，大概率是后续操作触发了以下逻辑：

• 主动调用了param.detach()
• 对参数做了.cpu()、.numpy()等转换操作，脱离了计算图
• 赋值时用了.data属性（该属性已不推荐使用）

内容的提问来源于stack exchange，提问作者Penguin