PyTorch中隐式修改nn.Parameter值的最优方法及反向传播影响

1. 使用.data更新参数绝非最优方式 #

直接操作.data是PyTorch早期版本的遗留写法，现在完全不推荐：

• .data会直接修改参数的底层数值，彻底绕开PyTorch的自动微分机制（计算图），相当于“私下”修改参数，没有留下任何梯度追踪的痕迹。
• 这种操作极易导致梯度计算混乱：后续反向传播会基于修改后的参数值计算梯度，但完全不知道该参数已被手动篡改，很容易出现梯度不匹配、训练震荡甚至崩溃的问题。
• 现代PyTorch（1.6+）中，即使要做无梯度追踪的操作，官方也更推荐用torch.no_grad()上下文管理器，但即便如此，也不应该直接修改Parameter的原始数值。

2. 反向传播不会考虑这次归一化处理 #

你在forward里用.data修改self.v的操作，完全没有被纳入计算图。反向传播时，PyTorch只会计算out = x @ self.v对修改后的self.v的梯度，完全忽略你之前做的归一化除法操作的导数。也就是说，归一化操作对梯度的影响被彻底抹掉了，这和你“优化范数为1的向量v”的目标完全矛盾——你的优化过程根本没把范数约束的梯度信息传递进去。

正确的实现方式 #

要让归一化操作被纳入计算图，同时保证每次前向传播时v都是单位范数，你应该在forward中生成一个归一化后的临时变量，而非直接修改原始参数：

class myNetwork(nn.Module):
    def __init__(self, initial_vector):
        super(myNetwork, self).__init__()
        self.v = nn.Parameter(initial_vector)
    
    def forward(self, x):
        # 生成归一化临时变量，不修改原始参数，同时纳入计算图
        v_normalized = nn.functional.normalize(self.v, dim=0)
        out = x @ v_normalized
        return out

也可以手动实现归一化（效果与上述代码一致）：

class myNetwork(nn.Module):
    def __init__(self, initial_vector):
        super(myNetwork, self).__init__()
        self.v = nn.Parameter(initial_vector)
    
    def forward(self, x):
        norm = torch.sqrt(torch.matmul(self.v.T, self.v))
        v_normalized = self.v / norm
        out = x @ v_normalized
        return out

这种实现的优势：

• 归一化操作完全被纳入计算图，反向传播时会自动计算归一化对self.v的梯度，相当于把“范数为1”的约束通过梯度机制融入优化过程。
• 原始参数self.v不会被直接修改，所有约束都通过计算图自动处理，训练过程更稳定，也符合PyTorch的设计规范。

内容的提问来源于stack exchange，提问作者Josemi