如何解决PyTorch代码中出现grad_fn = None的问题

grad_fn是PyTorch自动微分框架中用来记录张量生成逻辑的核心属性，该属性为None的常见原因如下：

• 张量本身未开启梯度计算
  如果张量的requires_grad属性被设为False，无论它是如何生成的，grad_fn都默认是None。你可以先打印对应张量的requires_grad值排查是否属于这种情况。
• 张量是手动创建的叶子节点
  直接通过torch.tensor()、torch.zeros()等构造接口创建的张量属于计算图的叶子节点，哪怕手动开启了requires_grad=True，它的grad_fn也会是None，反向传播的梯度会直接写入它的grad属性。
• 计算过程处于torch.no_grad()上下文作用域
  只要对应张量的生成逻辑被包裹在torch.no_grad()、torch.inference_mode()等禁用计算图的上下文管理器中，就算输入张量都开启了梯度，输出张量的grad_fn也会被强制设为None，同时自动关闭梯度计算属性。
• 张量被执行了detach操作
  如果生成张量的过程中调用了.detach()方法，会直接将该张量从现有计算图中剥离，剥离后的张量grad_fn就会变为None，不会参与后续的梯度反向传播。
• 计算算子的所有输入都未开启梯度
  如果生成该张量的算子的所有输入张量的requires_grad属性都是False，输出张量自然不需要参与梯度计算，grad_fn也会是None。

针对你提到的搜索空间采样相关的代码逻辑，可以优先检查采样权重的生成过程是否被意外放入无梯度上下文，或者是否被提前执行了detach操作。

内容的提问来源于stack exchange，提问作者kevin998x