PyTorch权重直接覆盖无效但原地修改生效的原因解析

state_dict() 方法每次被调用时，都会新生成一个独立的有序字典对象，这个字典不是模块内部存储参数的原生命名空间，你对这个临时生成的字典本身做的键值替换操作，不会反向同步到模块内部的参数存储。

两种操作效果差异的本质原因：

• 直接键赋值无效：执行net.state_dict()["weight"] = weights时，流程是先调用state_dict()生成临时字典，再修改这个临时字典的键对应值，操作完成后临时字典就会被内存回收，模块本身持有的参数没有任何改动。下次再调用net.state_dict()时，会重新从模块内部读取原始参数生成新字典，因此看不到任何修改效果。
• 索引原地修改生效：虽然返回的字典是临时对象，但字典中存储的张量值，是和模块内部参数共享同一块底层内存的引用。执行net.state_dict()["weight"][0] = weights时，本质是拿到了和net.weight指向同一块内存的张量引用，通过索引做的原地赋值操作直接修改了共享内存中的数据，因此修改是持久生效的。

不要通过给state_dict()返回值做键赋值的方式修改权重，推荐使用两种官方支持的合规写法，避免引入静默bug：

• 原地值拷贝：通过张量的copy_()方法直接将目标张量的值复制到现有参数的内存空间，不会破坏原有nn.Parameter的属性，不会影响优化器对参数的识别：

import torch
from torch import nn

net = nn.Linear(3, 1)
weights = torch.zeros(1,3)

with torch.no_grad(): # 禁止autograd追踪权重修改操作
    net.weight.copy_(weights)
    # 修改偏置逻辑同理：net.bias.copy_(torch.zeros(1))

• 调用load_state_dict()加载：构造格式匹配的状态字典，通过模块官方提供的加载接口写入权重，接口默认会做键匹配、形状校验，避免写错参数名、形状不匹配导致的问题：

import torch
from torch import nn

net = nn.Linear(3, 1)
weights = torch.zeros(1,3)

# 先拿模板state_dict，替换对应权重值
sd = net.state_dict()
sd["weight"] = weights
# 加载回模型，strict=True默认要求所有键完全匹配
net.load_state_dict(sd)

注意：禁止直接执行net.weight = weights这类属性替换操作，这种写法会把模块内原本的nn.Parameter对象替换成普通张量，导致该参数不会被纳入net.parameters()迭代列表，优化器无法更新该参数，训练时会出现静默错误。

内容的提问来源于stack exchange，提问作者Daniel