PyTorch中预训练Wide ResNet加载部分权重的正确方式

两种代码顺序的正确性 #

示例代码2的顺序是正确的。原因很直接：预训练权重是为原始Wide ResNet的参数准备的，你得先把权重加载到原始ResNet模型上，再基于这个预训练好的模型构建带新增层的新模型。如果像示例1那样先拼出新模型再加载权重，新模型里多出来的ModuleList及线性层参数在预训练权重里根本不存在，直接加载会触发参数不匹配的错误。

PyTorch加载权重的核心机制 #

PyTorch加载预训练权重的核心逻辑围绕参数名称匹配展开：

• 预训练权重文件本质是一个Python字典，键是模型参数的完整名称（比如layer1.conv1.weight），值是对应的参数张量。
• 调用model.load_state_dict()时，PyTorch会逐一比对当前模型的参数名称和权重字典里的键，只有完全匹配的参数才会被权重值覆盖。
• 默认情况下，如果当前模型有额外参数（比如你加的线性层），或者权重字典里有当前模型没有的参数，会直接抛出RuntimeError。虽然可以通过设置strict=False跳过不匹配项，但这不是最优方案——先加载原始模型权重再扩展模型才是更严谨的流程。

ModuleList整合新增层的注意事项 #

如果你用ModuleList整合新增层，只要在ConstructNewModel里把原始ResNet作为子模块保留（比如新模型的self.backbone属性指向原始ResNet），那么示例2的流程能完美工作：

1. 先给原始ResNet加载预训练权重，所有原始参数都正确初始化。
2. 再构建新模型，新增的ModuleList层会被随机初始化（后续训练时再更新），而原始ResNet的预训练权重会完整保留。

要是用示例1的顺序，新模型的参数包含原始ResNet的参数（可能被嵌套在backbone下）加上新增层参数，此时加载原始ResNet的权重字典，不仅会因为缺少新增层参数报错，甚至可能因为原始参数的名称在新模型里变了（比如从layer1.conv1.weight变成backbone.layer1.conv1.weight），导致连原始参数都匹配不上，完全加载失败。

内容的提问来源于stack exchange，提问作者Jerry Abu Ayoub