关于PyTorch autograd中权重梯度追踪的疑问

1. 模型权重初始化时requires_grad默认是开启的 #

PyTorch里，nn.Module的可训练参数（比如权重、偏置）在初始化时，requires_grad默认就设为True，也就是从一开始就开启了梯度追踪。你可以直接验证：

print(model.layer2.weight.requires_grad)  # 输出 True

所以不存在“初始化时关闭梯度、仅训练阶段开启”的情况。

2. 初始时grad为None的核心原因 #

grad属性存的是反向传播后计算出的梯度值，在你没执行loss.backward()之前，根本没做任何梯度计算操作，自然没有梯度数据可以存储，所以grad会是None。

举个直观的例子：

import torch
import torch.nn as nn

class TinyModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.layer1 = nn.Linear(10, 20)
        self.layer2 = nn.Linear(20, 5)

model = TinyModel()
print(model.layer2.weight.grad)  # 输出 None，还没反向传播，无梯度数据

# 模拟一次完整的前向+反向流程
x = torch.randn(3, 10)
output = model(x)
loss = output.sum()
loss.backward()
print(model.layer2.weight.grad)  # 现在能看到具体的梯度张量

3. 训练/评估模式与梯度追踪的关系 #

• model.train()切换到训练模式，只是调整dropout、BatchNorm这类层的行为（比如dropout随机失活神经元、BatchNorm更新均值方差），不会改变参数的requires_grad状态。
• model.eval()切换到评估模式，同样只是调整层的行为，不会自动关闭梯度追踪。如果要在评估时关闭梯度追踪（节省内存、加快计算），可以用torch.no_grad()上下文管理器：

with torch.no_grad():
    x = torch.randn(3, 10)
    output = model(x)
    # 这里前向传播不会追踪梯度，参数grad也不会被更新

总结：初始化后权重的grad为None，纯粹是因为还没执行反向传播计算梯度——权重从一开始就开启了梯度追踪，只是还没产生梯度数据而已。

内容的提问来源于stack exchange，提问作者Muhammad Waseem