PyTorch模型保存为检查点后多日加载性能骤降问题求助

核心问题分析 #

从代码和现象来看，性能暴跌主要由错误的模型保存/加载方式、未切换评估模式以及代码逻辑顺序问题导致：

1. 直接序列化整个模型(torch.save(model, ...))依赖模型类的定义环境，极易出现参数加载不匹配、序列化异常等问题，自定义模型场景下风险极高。
2. 加载模型后未调用model.eval()，Dropout层仍以训练模式运行，随机丢弃神经元，严重破坏推理稳定性。
3. 代码逻辑顺序错误：你先执行了保存/加载操作，才定义模型类并初始化模型，这不符合实际训练-保存-加载的正常流程。

修正后的代码步骤 #

正确保存模型 #

训练完成后，只保存模型的参数字典（state_dict），这是PyTorch官方推荐的标准方式：

# 训练完成后执行保存
torch.save(model.state_dict(), 'models/model_0.pth')

正确加载模型 #

加载时先实例化模型，再加载参数，最后强制切换到评估模式：

# 先定义模型类（必须和训练保存时的类完全一致）
class DistilBERTClass(torch.nn.Module):
    def __init__(self):
        super(DistilBERTClass, self).__init__()
        self.l1 = DistilBertModel.from_pretrained("distilbert-base-uncased")
         
        # 注意：你代码中注释写"解冻除最后一层"，但实际是全解冻，需确认是否符合训练时的设置
        for name, param in self.l1.named_parameters():
            param.requires_grad = True
             
        self.pre_classifier = torch.nn.Linear(768, 768)
        self.dropout = torch.nn.Dropout(0.1)
        self.classifier = torch.nn.Linear(768, 26)

    def forward(self, input_ids, attention_mask, token_type_ids):
        output_1 = self.l1(input_ids=input_ids, attention_mask=attention_mask)
        hidden_state = output_1[0]
        pooler = torch.mean(hidden_state, dim=1)
        pooler = self.pre_classifier(pooler)  
        pooler = torch.nn.Tanh()(pooler)
        pooler = self.dropout(pooler)
        output = self.classifier(pooler) 
        output = F.sigmoid(output)
        return output

# 实例化模型并加载参数
model = DistilBERTClass()
model.load_state_dict(torch.load('models/model_0.pth'))
model.to(device)
model.eval()  # 关键操作：关闭Dropout等训练专属的随机行为

额外排查点 #

如果修正后性能仍异常，检查以下内容：

• 模型类一致性：加载时的模型类必须和保存时完全一致，包括层结构、输出维度、参数初始化/解冻逻辑。
• 数据预处理匹配：推理时的tokenizer参数（max_length、padding方式、truncation规则）必须和训练时完全相同。
• 设备一致性：确保模型和输入数据在同一设备（GPU/CPU）上，可通过next(model.parameters()).device检查模型设备，输入数据需同步用.to(device)迁移。

内容的提问来源于stack exchange，提问作者anushka Singh