可训练与不可训练参数结合后原参数是否可训练？PyTorch训练疑问

问题1：可训练参数与不可训练参数结合后，原可训练参数的可训练性是否保留？ #

简单来说：只要可训练参数没有被显式阻断梯度传播（比如用detach()或者设置requires_grad=False），并且你用来组合的操作是可微分的，那么原可训练参数依然具备可训练性。

PyTorch的自动微分是基于计算图的，不可训练参数（requires_grad=False）在计算中只会作为常量参与，它们不会产生梯度，但不会影响其他可训练参数的梯度回传。举个直观的例子：

import torch
import torch.nn as nn

# 可训练参数
trainable_param = nn.Parameter(torch.randn(3, 3), requires_grad=True)
# 不可训练参数
non_trainable_param = torch.randn(3, 3, requires_grad=False)

# 执行组合操作
combined = trainable_param + non_trainable_param
# 计算损失并反向传播
loss = combined.sum()
loss.backward()

# 查看原可训练参数的梯度状态
print(trainable_param.grad is not None)  # 输出: True

你看，这里组合后的张量用到了不可训练参数，但原可训练参数的梯度依然能正常计算，完全不影响它的训练流程。

问题2：用不可训练的placeholder_net组合参数后，原trainable_net的参数还能训练吗？ #

你的担心是有道理的——如果直接把组合后的张量赋值给placeholder_net的不可训练参数，确实会阻断原trainable_net参数的梯度回传，因为你相当于把组合后的张量的梯度传播关掉了，计算图到这里就断了，梯度没法传回源头的trainable_net.W。

举个反例，这样做会导致原参数无法训练：

class PlaceholderNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.W = nn.Parameter(torch.randn(3,3), requires_grad=False)  # 不可训练参数

# 假设已经初始化好not_trainable_net和trainable_net
placeholder_net = PlaceholderNet()
# 直接赋值组合后的参数
placeholder_net.W = not_trainable_net.W + trainable_net.W
placeholder_net.W.requires_grad = False  # 显式关闭梯度

# 前向传播+反向传播
output = placeholder_net(input)
loss = criterion(output, target)
loss.backward()

print(trainable_net.W.grad is None)  # 输出: True，梯度没传回来

那该怎么解决？不要把组合后的张量作为placeholder_net的固定参数，而是在forward方法里动态组合两个网络的参数，这样就能保留原trainable_net参数的梯度路径：

class PlaceholderNet(nn.Module):
    def __init__(self, not_trainable_net, trainable_net):
        super().__init__()
        # 只保存两个网络的引用，不提前组合参数
        self.not_trainable_net = not_trainable_net
        self.trainable_net = trainable_net

    def forward(self, x):
        # 在forward阶段动态执行组合操作
        combined_W = Op(self.not_trainable_net.W, self.trainable_net.W)
        # 用组合后的参数进行计算，比如全连接层的矩阵乘法
        output = x @ combined_W
        return output

# 初始化时传入两个网络实例
placeholder_net = PlaceholderNet(not_trainable_net, trainable_net)

# 前向传播+反向传播
output = placeholder_net(input)
loss = criterion(output, target)
loss.backward()

print(trainable_net.W.grad is not None)  # 输出: True，梯度正常回传

这样一来，组合操作是在每次forward时动态进行的，计算图会完整保留从output到trainable_net.W的路径，梯度就能正常回传，原可训练参数就能被优化器更新了。

另外要注意两点：一是确保not_trainable_net.W的requires_grad已经设为False，避免它被意外训练；二是你的Op操作必须是可微分的（比如加法、乘法、拼接这些PyTorch内置操作都满足要求），如果是自定义操作，要确保实现了对应的反向传播逻辑。

内容的提问来源于stack exchange，提问作者Charlie Parker