PyTorch多层感知机二分类准确率固定问题求助

一、数据集层面问题 #

• 类别严重不平衡：统计训练集/测试集中类别0和类别1的样本数量，如果类别1占比极低（比如<5%），模型会优先学习预测类别0以获得高准确率，完全忽略类别1。解决方法：使用过采样（复制类别1样本）、欠采样（减少类别0样本）或在损失函数中加入类别权重（如BCELoss(weight=torch.tensor([1.0, 10.0]))给类别1更高权重）。
• 标签处理错误：检查数据集类中返回的标签是否正确映射为0/1。比如是否把类别1的标签误设为2或其他值，或者读取时标签格式错误（如字符串转数值失败）。
• 数据预处理失效：特征是否做了归一化/标准化？如果不同特征尺度差异极大（比如一个特征范围是0-1，另一个是0-1000），模型会被大尺度特征主导，无法学习到类别1的特征模式。
• 数据集划分错误：确认训练集中包含类别1的样本，避免划分时类别1全被分到测试集，导致模型从未见过类别1的样本。

二、模型结构与损失函数匹配问题 #

• 输出层激活函数错误：二分类任务中，若输出层是单神经元（nn.Linear(hidden_dim, 1)），必须搭配sigmoid激活函数将输出映射到0-1区间；若使用双神经元输出（nn.Linear(hidden_dim, 2)），则搭配softmax激活，对应CrossEntropyLoss。如果漏加激活函数，输出范围不受限，损失函数无法有效引导学习。
• 损失函数不匹配：
  • 单输出+sigmoid：用BCELoss；若不想手动加sigmoid，直接用BCEWithLogitsLoss（内部会自动计算sigmoid）。
  • 双输出+softmax：用CrossEntropyLoss（注意标签需为类别索引，而非one-hot编码）。
    错误搭配会导致损失无法收敛，模型学不到有效特征。
• 模型拟合能力不足/过强：若模型层数过少、神经元数量太少，无法捕捉类别1的特征；若模型过于复杂（如多层大神经元），可能在类别0上过度拟合，忽略类别1。尝试调整隐藏层数量和神经元数（比如从2层64神经元开始测试）。
• 权重初始化问题：避免将权重全初始化为0（如nn.Linear(..., bias=False)且权重初始为0），会导致神经元对称，无法学习差异化特征。使用PyTorch默认的Kaiming初始化即可。

三、训练流程问题 #

• 未正确设置模型模式：训练时需调用model.train()开启训练模式（启用dropout、batchnorm的更新）；评估时调用model.eval()关闭训练模式，避免影响评估结果。
• 梯度更新逻辑错误：训练循环中必须按顺序执行：

  optimizer.zero_grad()  # 清零梯度
  outputs = model(inputs)
  loss = criterion(outputs, labels)
  loss.backward()  # 反向传播
  optimizer.step()  # 更新权重
  

  遗漏任何一步都会导致权重无法更新。
• 学习率设置不当：即使调整过学习率，也可能处于极端值（如1e-5太小导致学习缓慢，1e-1太大导致震荡无法收敛）。尝试用学习率衰减（如torch.optim.lr_scheduler.StepLR）或从1e-4、5e-4等常用值开始测试。
• 类别权重未配置：针对类别不平衡，在损失函数中指定weight参数，让模型更关注类别1的样本。例如：

  # 假设类别1占比为10%，类别0占90%，权重设为反比
  class_weights = torch.tensor([1.0, 9.0]).to(device)
  criterion = nn.BCELoss(weight=class_weights)
  

四、准确率计算逻辑问题 #

• 阈值设置错误：单输出+sigmoid的情况下，需用(outputs > 0.5).float()来判断类别1，如果阈值设得过高（如0.8），会导致大部分类别1样本被误判为0；过低则会误判类别0。
• 维度不匹配：检查预测输出和标签的维度是否一致。比如输出是(batch_size, 1)，标签是(batch_size,)，需用outputs.squeeze()将输出转为一维后再比较。
• 类别映射错误：确认准确率计算时，是否把预测值和标签的对应关系搞反（比如把预测0当成类别1统计）。例如：

  # 正确逻辑：预测>0.5为类别1，与标签1比较
  correct += ((outputs > 0.5) == labels).sum().item()
  

内容的提问来源于stack exchange，提问作者Yusuf Kalyoncu