PyTorch复现回归神经网络教程失败，预测结果异常求排查

一、先查数据预处理——最容易踩的坑 #

• 必须对输入特征做标准化/归一化：波士顿房价的特征量差极大（比如犯罪率0-100，房间数5-8），没做标准化会导致模型梯度爆炸/消失，直接让loss乱飞、预测彻底偏离。确认代码里有没有用StandardScaler这类工具，而且训练集用fit_transform，测试集只能用transform，绝对不能分开拟合，否则数据分布不一致。
• 标签（房价）如果数值过大，也可以做归一化，但要记得预测后反变换回去，不然预测值会被限制在0-1这类小范围。

二、模型结构检查 #

• 输出层绝对不能加激活函数：回归任务输出是连续值，用sigmoid/ReLU会把预测值卡死在0-1或者非负区间，直接偏离真实房价（波士顿房价是几万到十几万）。PyTorch的Linear层默认是线性激活，别画蛇添足加其他激活。
• 隐藏层激活函数别瞎选：新手容易照搬教程但没匹配数据，比如用tanh但数据没标准化，容易导致梯度消失，模型学不到东西。优先用ReLU试试。
• 网络别搞太复杂：波士顿房价是小数据集，隐藏层1-2层、每层32-64个神经元足够，层数太多直接过拟合，但你这情况是R2负数，更可能是前面的问题。

三、训练流程逐行查 #

• 损失函数用对：回归任务用MSELoss或者L1Loss，别用交叉熵（那是分类用的）。代码里确认criterion = nn.MSELoss()。
• 学习率别设太大：新手常犯的错，比如用0.1的学习率，直接让loss震荡到上天。从1e-3开始试，不行就降到1e-4，或者加个学习率调度器慢慢降。
• 训练循环细节：
  • 训练时开model.train()，测试/验证时开model.eval()——否则dropout、batchnorm在测试时还生效，预测结果会乱跳。
  • 每次反向传播前必须optimizer.zero_grad()，不然梯度累积会导致参数更新完全错误。
  • 数据集别搞混：检查训练集、测试集划分是否正确，特征和标签有没有对应错（比如把标签当特征输入）。

四、贴代码重点看这些部分 #

把你的代码用代码块贴出来，重点核对以下片段：

# 数据预处理示例（必须这么写）
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)  # 测试集不能fit

# 模型定义示例（输出层无激活）
import torch.nn as nn
class MLP(nn.Module):
    def __init__(self):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(13, 64),
            nn.ReLU(),
            nn.Linear(64, 32),
            nn.ReLU(),
            nn.Linear(32, 1)  # 这里别加激活！
        )
    def forward(self, x):
        return self.net(x)

# 训练循环示例
model = MLP()
criterion = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)

for epoch in range(200):
    model.train()
    optimizer.zero_grad()
    pred = model(X_train_tensor)
    loss = criterion(pred, y_train_tensor)
    loss.backward()
    optimizer.step()
    
    # 验证环节
    model.eval()
    with torch.no_grad():
        val_pred = model(X_val_tensor)
        val_loss = criterion(val_pred, y_val_tensor)

五、结合Loss曲线和预测图分析 #

• 如果Loss曲线持续飙升或者震荡到极大值：大概率是学习率太高，或者数据没标准化。
• 如果Loss一直不变：可能是梯度消失（比如激活函数错了），或者模型参数初始化有问题。
• 预测结果完全偏离：先检查预测时有没有对输入做和训练时一样的标准化，要是标签做了归一化，别忘了把预测值反变换回去。

内容的提问来源于stack exchange，提问作者Mirk