PyTorch调用model.train()是否会影响已冻结的层？

1. 调用model.train()会不会自动将所有层的requires_grad设置为True？ #

不会。
model.train()和model.eval()是独立于参数梯度开关的模式切换接口，仅会影响Dropout、BatchNorm等存在训练/推理不同运行逻辑的层的行为，完全不会修改任何参数的requires_grad属性。

2. 如何保证前两层始终处于冻结状态？ #

你给出的按参数索引设置requires_grad的代码本身是有效的，只要设置后没有其他代码主动修改对应参数的属性，即使多次调用model.train()也不会破坏冻结状态。不过该写法存在一定隐患：如果后续模型结构调整（比如某层新增/删除参数、层顺序变更），索引和层的对应关系会错位，更稳妥的实现方式如下：

• 优先按层名设置冻结属性，避免索引错位问题：

# 方式1：直接指定要冻结的层
model.conv1.requires_grad_(False)
model.bn1.requires_grad_(False)

# 方式2：按命名前缀批量冻结符合规则的层
for name, param in model.named_parameters():
    # 匹配前两层的参数命名前缀，根据你自己的模型实际命名调整即可
    if name.startswith("layer1.") or name.startswith("layer2."):
        param.requires_grad = False

• 初始化优化器时过滤不需要更新的参数，增加双重保险：

# 仅把需要更新的参数传入优化器，即使后续误改了冻结参数的requires_grad也不会被更新
optimizer = torch.optim.Adam(
    filter(lambda p: p.requires_grad, model.parameters()),
    lr=1e-3
)

内容的提问来源于stack exchange，提问作者Xudong