一、为啥执行x = x + 4后梯度没了？ #

先得明白PyTorch里**叶子张量（Leaf Tensor）**的核心概念：当你初始化x = torch.tensor(3.0, requires_grad=True)时，x是一个叶子张量——它是计算图的起点，不依赖任何其他张量，专门用来追踪梯度。

当你写x = x + 4的时候，你可不是在原来的x上直接改值，而是创建了一个全新的张量。这个新张量不是叶子张量（它是从原来的x计算来的），而且默认是关闭梯度追踪的（requires_grad=False）。这时候变量名x已经指向了这个新张量，原来的那个叶子张量还在内存里，但你已经访问不到它了。

所以第二次调用y.backward()时，这个新的x根本没开梯度追踪，自然不会计算梯度，打印x.grad就啥都没有啦。

二、不用反复设requires_grad=True的参数更新方法 #

你自己实现的方案已经很靠谱，不过还有几种更优雅的方式，完全不用手动重复设置梯度属性：

方法1：直接修改.data属性（你的验证方案） #

x = torch.tensor(3.0, requires_grad=True)
y = x**2
y.backward(retain_graph=True)
print(x.grad)  # 输出tensor(6.)
x.data = x.data + x.grad.data  # 直接改底层数据，不换张量本身
x.grad.zero_()  # 梯度要清零，不然下次会累积
y = x**2
y.backward(retain_graph=True)
print(x.grad)  # 输出tensor(18.)

这里的关键是.data指向张量的底层数值，修改它不会改变x作为叶子张量的身份，所以requires_grad一直是True，不用重新设置。

方法2：torch.no_grad()+原地操作（in-place） #

原地操作就是那些后缀带_的方法，比如add_、sub_，它们会直接修改原张量的内容，不会生成新张量。不过更新参数的时候我们不想让这个操作被记录进计算图，所以用torch.no_grad()包起来：

x = torch.tensor(3.0, requires_grad=True)
y = x**2
y.backward(retain_graph=True)
print(x.grad)  # tensor(6.)
with torch.no_grad():
    x.add_(x.grad)  # 原地加梯度更新x
x.grad.zero_()
y = x**2
y.backward(retain_graph=True)
print(x.grad)  # tensor(18.)

这种方式既保留了x的叶子张量身份，代码也更简洁，是常用的手动更新方式。

方法3：用PyTorch优化器（实战首选） #

如果是在训练循环里，直接用PyTorch的优化器就省心多了，它会自动处理参数更新和梯度清零，完全不用管requires_grad的事：

x = torch.tensor(3.0, requires_grad=True)
optimizer = torch.optim.SGD([x], lr=1.0)  # 初始化SGD优化器，学习率设为1

y = x**2
y.backward(retain_graph=True)
print(x.grad)  # tensor(6.)
optimizer.step()  # 自动更新x的参数
optimizer.zero_grad()  # 自动清空梯度

y = x**2
y.backward(retain_graph=True)
print(x.grad)  # tensor(18.)

优化器内部会自动在no_grad上下文里更新参数，同时保持x的梯度追踪属性，这是最规范的工业级写法。

总结一下 #

• 普通赋值（x = x + 4）会创建新张量，把原来的叶子张量丢了，导致梯度追踪失效；
• 要保留requires_grad，可以通过修改.data、原地操作（配合no_grad）或者用优化器来更新参数。

内容的提问来源于stack exchange，提问作者Andy