PyTorch超参调优中模型状态残留问题排查与解决请求

以下是针对PyTorch回归任务超参数搜索时，模型状态残留问题的彻底解决方案：

• 每次循环内重新初始化模型与优化器
  绝对不要在超参数循环外定义模型或优化器，必须把初始化逻辑放到循环内部。这样每次迭代都会创建全新的模型实例和优化器，从根源避免状态继承：

  for params in hyperparam_grid:
      # 每次循环都生成全新的模型
      model = MyRegressionModel(params["hidden_size"]).to(device)
      # 每次循环都初始化全新的优化器
      optimizer = torch.optim.Adam(model.parameters(), lr=params["lr"])
      # 执行训练、验证逻辑...
  

• 配合CUDA缓存清空与内存回收
  仅用gc.collect()不够，必须加上PyTorch的CUDA缓存清理，且要在删除模型和优化器之后调用：

  for params in hyperparam_grid:
      model = MyRegressionModel(...).to(device)
      optimizer = torch.optim.Adam(...)
      # 训练流程...
      
      # 强制清理步骤
      del model, optimizer
      torch.cuda.empty_cache()  # 释放未被PyTorch占用的显存
      gc.collect()  # 回收Python层面的内存
  

• 避免全局变量与隐式引用
  检查代码中是否存在全局变量（比如全局的loss列表、日志对象）引用了模型、优化器或训练张量，这些引用会阻止垃圾回收机制生效。把所有训练相关变量限制在循环或函数的局部作用域内。

• 重置随机种子保证初始一致性
  每次循环开始前重置所有随机源，确保模型初始化的权重、数据采样等完全一致，避免因随机状态残留导致的训练偏差：

  def set_seed(seed=42):
      torch.manual_seed(seed)
      torch.cuda.manual_seed_all(seed)
      numpy.random.seed(seed)
      random.seed(seed)
      torch.backends.cudnn.deterministic = True
      torch.backends.cudnn.benchmark = False
  
  for params in hyperparam_grid:
      set_seed()
      model = MyRegressionModel(...).to(device)
      # 训练流程...
  

• 用函数封装训练逻辑（可选）
  将单组超参数的训练流程封装成独立函数，函数内部的变量在执行结束后会自动脱离作用域，配合缓存清理能进一步降低残留风险：

  def train_single_param_set(params):
      set_seed()
      model = MyRegressionModel(params["hidden_size"]).to(device)
      optimizer = torch.optim.Adam(model.parameters(), lr=params["lr"])
      # 完整训练、验证步骤
      train_loss = train_loop(model, optimizer, train_loader)
      val_loss = eval_loop(model, val_loader)
      return train_loss, val_loss
  
  for params in hyperparam_grid:
      train_loss, val_loss = train_single_param_set(params)
      # 记录结果...
      torch.cuda.empty_cache()
      gc.collect()
  

内容的提问来源于stack exchange，提问作者XiongMao