调优PyTorch MLP实现参数估计替代非线性 regression遇问题求助

问题背景 #

• 目标函数：Y = 1 - V*Cos(k*X + phi)，Y包含高斯噪声，需估计参数V、k、phi
• 实现方案：用PyTorch构建MLP，输入为100组X、Y拼接成的200维向量，输出(V,k,phi)；通过随机生成参数生成含噪数据集完成训练
• 异常现象：手动调整隐藏层节点数时效果尚可，Optuna调参后大幅增加隐藏层节点，训练结果极差，怀疑过拟合

原因分析 #

1. 过拟合核心原因：模型容量远超任务需求，过多的隐藏层节点让MLP记住了训练数据中的噪声细节，而非学习到目标函数的通用映射规律
2. Optuna调参逻辑缺陷：
   • 若仅以训练集损失为优化目标，Optuna会倾向于选择容量更大的模型，完全忽略泛化能力
   • 搜索空间设置单一，仅聚焦隐藏层节点数，未纳入正则化相关参数，导致模型无约束地膨胀
3. 训练流程缺失关键环节：
   • 未划分验证集监控泛化能力，无法及时发现过拟合
   • 小批量训练若未配合正则化，反而会因样本波动加剧模型对局部噪声的拟合

改进方向 #

1. 修正Optuna调参逻辑 #

• 将验证集损失作为调参的核心目标，强制模型兼顾泛化能力
• 扩展搜索空间，加入正则化相关参数：
  • L1/L2正则化系数（weight_decay）
  • Dropout层的 dropout 概率
  • 隐藏层数量（避免仅调节点数导致模型过深）
• 限制隐藏层节点数上限，比如根据输入维度（200维）设置50-200的合理范围，而非无限制增大

2. 加入正则化机制 #

• 权重衰减：在优化器中设置weight_decay参数，例如torch.optim.Adam(model.parameters(), lr=1e-3, weight_decay=1e-5)，抑制权重过大
• Dropout层：在隐藏层之间插入nn.Dropout(p=0.2)，随机失活部分神经元，减少神经元间的依赖
• 早停（Early Stopping）：监控验证集损失，当连续多轮无下降时停止训练，避免过度迭代

3. 优化数据集构建 #

• 严格划分训练集、验证集、测试集（如7:2:1比例），确保数据集覆盖V、k、phi的合理取值范围，避免数据分布单一
• 增加数据集规模，生成更多不同参数组合的样本，提升模型的泛化基础

4. 调整模型结构 #

• 简化模型层数：目标函数本质是三角函数映射，无需过深的模型，尝试1-2层隐藏层即可
• 输出层约束：针对V、k通常为非负数的特性，在输出层对这两个参数用torch.abs()处理，避免模型输出无意义的参数值

5. 训练细节优化 #

• 学习率调整：使用学习率衰减（如torch.optim.lr_scheduler.StepLR），避免模型震荡或收敛缓慢
• 损失函数匹配：采用MSE损失计算预测参数与真实参数的差异，确保损失函数与任务目标对齐

核心代码修改示例 #

带正则化的MLP模型 #

import torch
import torch.nn as nn

class MLP(nn.Module):
    def __init__(self, hidden_size=100, dropout_p=0.2):
        super().__init__()
        self.layers = nn.Sequential(
            nn.Linear(200, hidden_size),
            nn.ReLU(),
            nn.Dropout(dropout_p),
            nn.Linear(hidden_size, hidden_size),
            nn.ReLU(),
            nn.Dropout(dropout_p),
            nn.Linear(hidden_size, 3)
        )
    
    def forward(self, x):
        out = self.layers(x)
        # 对V和k施加非负约束
        out[:, 0] = torch.abs(out[:, 0])  # 参数V
        out[:, 1] = torch.abs(out[:, 1])  # 参数k
        return out

修正后的Optuna调参目标函数 #

import optuna

def objective(trial):
    # 扩展搜索空间，包含正则化与超参数
    hidden_size = trial.suggest_int("hidden_size", 50, 200)
    dropout_p = trial.suggest_float("dropout_p", 0.1, 0.5)
    weight_decay = trial.suggest_float("weight_decay", 1e-6, 1e-4, log=True)
    lr = trial.suggest_float("lr", 1e-4, 1e-2, log=True)
    
    model = MLP(hidden_size=hidden_size, dropout_p=dropout_p)
    optimizer = torch.optim.Adam(model.parameters(), lr=lr, weight_decay=weight_decay)
    criterion = nn.MSELoss()
    
    # 训练循环，包含验证集监控
    for epoch in range(100):
        # 训练步骤
        model.train()
        train_loss = 0.0
        for x_train, y_params_train in train_loader:
            optimizer.zero_grad()
            pred = model(x_train)
            loss = criterion(pred, y_params_train)
            loss.backward()
            optimizer.step()
            train_loss += loss.item()
        
        # 验证步骤
        model.eval()
        val_loss = 0.0
        with torch.no_grad():
            for x_val, y_params_val in val_loader:
                pred = model(x_val)
                loss = criterion(pred, y_params_val)
                val_loss += loss.item()
        
        # 早停与剪枝逻辑
        trial.report(val_loss / len(val_loader), epoch)
        if trial.should_prune():
            raise optuna.TrialPruned()
    
    return val_loss / len(val_loader)

内容的提问来源于stack exchange，提问作者Steven Sagona