如何手动将PyTorch模型的所有可学习参数设置为固定值

直接遍历参数赋值 #

• 直接遍历模型的所有可学习参数（通过model.parameters()），给每个参数设置固定值即可，比如统一设为0.1，或者固定随机种子后生成的随机张量：

import torch
import torch.nn as nn

# 示例模型
class TestModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(10, 5)
        self.fc2 = nn.Linear(5, 2)

model = TestModel()

# 将所有参数固定为0.1
with torch.no_grad():
    for param in model.parameters():
        param.fill_(0.1)

# 若要设置固定随机值，先锁定随机种子
torch.manual_seed(42)
with torch.no_grad():
    for param in model.parameters():
        param.data = torch.randn_like(param)

• 必须使用torch.no_grad()上下文管理器，避免触发不必要的梯度计算；用fill_或直接修改param.data这类原地操作，能确保参数被稳定固定。

冻结参数+赋值（适合无需后续训练的场景） #

• 如果之后完全不需要训练模型，可以先关闭参数的梯度计算，再赋值，这样后续前向传播过程中参数绝对不会被更新：

for param in model.parameters():
    param.requires_grad = False
    param.fill_(0.1)  # 替换为你需要的固定值即可

验证两个模型的forward逻辑一致性 #

• 参数固定完成后，给两个模型输入完全相同的测试张量，对比输出结果：

# 生成固定输入，比如全1的张量
test_input = torch.ones(1, 10)

output1 = model1(test_input)
output2 = model2(test_input)

# 检查输出是否一致
print(torch.allclose(output1, output2))  # 若forward逻辑一致，应返回True

• 若输出不一致，说明两个模型的forward实现存在差异，逐模块排查即可定位问题。

内容的提问来源于stack exchange，提问作者Matt Pitkin