基于PyTorch的非线性方程拟合神经网络无法收敛问题求助

1. 先修复模型结构的致命错误 #

你的模型有两个核心维度问题，直接导致前向传播逻辑混乱，根本没法正常学习：

• 隐藏层里的Linear层输入维度全错了：第一个Linear把输入（18维）转成隐藏层维度（18维），但后面的Linear还在用input_size（18）作为输入，可前一层输出已经是隐藏层维度了，维度不匹配会让模型参数更新完全乱掉。
• forward里连续三次调用hidden_layer更是雪上加霜：第一次调用后输出是18维，但hidden_layer的第一层是18转18，虽然维度对上了，但反复执行相同的模块完全没必要，还会让模型学习效率极低。

修正后的模型示例：

class MyModel(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super().__init__()
        self.flatten = nn.Flatten()
        # 单个隐藏模块：线性变换+激活+归一化
        self.hidden_block = nn.Sequential(
            nn.Linear(hidden_size, hidden_size),
            nn.ReLU(),
            nn.BatchNorm1d(hidden_size),
        )
        # 输入到隐藏层的初始映射
        self.input_proj = nn.Linear(input_size, hidden_size)
        # 堆叠3个隐藏模块
        self.hidden_layers = nn.Sequential(*[self.hidden_block for _ in range(3)])
        self.output_layer = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        x = self.flatten(x)
        x = self.input_proj(x)
        x = self.hidden_layers(x)
        return self.output_layer(x)

2. 必须做数据标准化 #

你的输入X范围是[-50,50]，数值跨度太大，会让模型权重更新时震荡剧烈，根本没法收敛。直接对输入做标准化，把每个特征拉到均值0、方差1的范围：

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
# 假设X是你的输入特征DataFrame
X_scaled = scaler.fit_transform(X)

如果输出Y的数值范围也很大，建议同时对Y做标准化，训练完再反转换回去就行。

3. 调整激活函数与训练配置 #

• 把ReLU换成LeakyReLU，避免出现“死亡神经元”（部分神经元永远不激活，无法更新参数）：
  把nn.ReLU()改成nn.LeakyReLU(negative_slope=0.1)
• 优化器别用默认SGD，换成Adam，初始学习率设为1e-3，再配合学习率调度器逐步降速：

optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
# 每100轮把学习率减半
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=100, gamma=0.5)

• 损失函数用MSELoss就行（回归任务首选），如果Y有极端值，换成MAELoss更鲁棒。

4. 划分验证集监控训练 #

别全用30000样本训练，拿20%出来当验证集，每轮训练完看看验证集的误差，既能知道模型是不是真的收敛，也能防止过拟合：

from sklearn.model_selection import train_test_split
X_train, X_val, y_train, y_val = train_test_split(X_scaled, y, test_size=0.2, random_state=42)

训练时每10轮打印一次训练集和验证集的损失，要是验证集损失连续几十轮不下降，就可以提前停止训练了。

内容的提问来源于stack exchange，提问作者the_dude