PyTorch初始化Adam优化器时报错：无法优化requires_grad为True的非叶子Tensor

PyTorch优化器仅支持接收叶子节点属性的可训练张量作为优化目标，非叶子张量是计算图推导链路中的中间节点，不具备独立存储梯度更新状态的资格，哪怕这类张量设置了requires_grad=True，只要is_leaf=False，优化器就会直接抛出指定报错。
你排查到的索引9的张量符合非叶子的报错特征，本质是该参数没有按照PyTorch参数定义规范创建，被误收集到了模型的参数列表中。

这类问题90%以上来自两种写法错误：

• 在模型的forward前向传播方法内，给self属性直接赋值经过张量运算得到的中间结果，比如写了self.custom_weight = tensor_a * tensor_b这类代码，张量运算的输出天然是非叶子节点，哪怕被赋值为模型属性，也不会自动转为可优化的叶子参数。
• 直接将其他计算分支的输出张量，通过register_parameter注册为模型参数，没有对张量做独立的leaf化包装。

• 第一步：定位非叶子参数的具体生成位置
  模型初始化完成后，遍历参数列表批量校验，输出所有非叶子参数的索引，定位到对应代码行：

  for idx, param in enumerate(self.parameters()):
      if not param.is_leaf:
          print(f"索引{idx}的参数为非叶子节点，需排查定义逻辑")
  

• 第二步：修正非叶子参数的定义逻辑
  找到对应代码后，按照PyTorch规范改造参数创建方式：
  1. 所有需要参与训练的参数，必须在模型的__init__方法中通过nn.Parameter()直接创建，这类创建出的张量是天然的叶子节点，会被self.parameters()正确收集，且可被优化器正常处理。
  2. 如果参数的初始值需要基于已有张量计算派生，不要直接把派生结果当参数存储，要先将派生结果从计算图中分离，再创建独立的参数：

     # 错误写法：运算结果为非叶子张量
     self.custom_param = base_tensor * scale_factor
     # 正确写法：分离计算图关联，创建独立的叶子参数
     self.custom_param = nn.Parameter((base_tensor * scale_factor).detach().clone())
     

• 第三步：优化学习率调整的实现逻辑
  你当前每次调整学习率都重新实例化Adam优化器的写法存在额外缺陷：会直接丢弃Adam内部累积的动量、二阶矩等训练统计信息，导致训练效果不稳定。调整学习率不需要重建优化器，直接修改已有优化器参数组的学习率值即可：

  def learning_rate_adjust(self, args):
      self.learning_rate *= 0.8
      # 直接修改已构建优化器的学习率，完整保留优化器内部状态
      for param_group in self.train_op.param_groups:
          param_group["lr"] = self.learning_rate
  

内容的提问来源于stack exchange，提问作者dan