PyTorch中LSTM模型最后一层冻结代码正确性验证问询

• 你贴的这段代码不是只冻结最后一层，它会把模型所有层的参数都设置为不需要梯度更新，相当于冻结了整个模型。
• 要实现只冻结最后一层（你的模型里对应1个输出神经元的全连接层），需要单独定位最后一层的参数来修改，而非遍历所有参数。

正确代码示例 #

假设你的模型定义如下：

import torch.nn as nn

class LSTMModel(nn.Module):
    def __init__(self, input_size=6, hidden_size=128, num_layers=2):
        super().__init__()
        self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = nn.Linear(hidden_size, 1)  # 最后一层输出层

    def forward(self, x):
        out, _ = self.lstm(x)
        out = self.fc(out[:, -1, :])
        return out

要单独冻结最后一层，代码应该这么写：

# 先确保所有参数默认处于可更新状态
for param in model.parameters():
    param.requires_grad = True

# 仅冻结最后一层的参数
for param in model.fc.parameters():
    param.requires_grad = False

操作流程判断 #

从你提供的参数列表来看，最后两行是输出层的权重和偏置参数。你原来的代码会把LSTM两层的所有权重、偏置，以及输出层的参数全部冻结，完全不符合“只冻结最后一层”的需求，所以你的操作流程是错误的，需要改成上述方式单独处理最后一层参数。

内容的提问来源于stack exchange，提问作者Sraboni Akhy