基于PyTorch实现的AlexNet在CIFAR10上准确率仅10%如何优化

致命错误（直接导致准确率接近随机猜测） #

• 前向传播逻辑完全错误：你在forward方法里直接把输入图像拉平传入分类层，完全没有调用自己写的feature_extraction卷积特征提取模块，整个卷积网络等于白写，模型退化成纯全连接网络，自然无法学习图像特征。
  修改方法：调整forward逻辑，先过卷积层再拉平：

  def forward(self,x):
      x = self.feature_extraction(x) # 新增这行调用卷积特征提取模块
      x = x.view(x.size(0),-1)
      return self.classifier(x)
  

• 分类头输出维度不匹配：最后一层全连接输出是1000类，这是针对ImageNet数据集的设计，而CIFAR10只有10个分类，输出维度完全不对。
  修改方法：把分类头最后一层Linear的out_features改成10：
  nn.Linear(in_features=4096, out_features=10)
• 损失函数与输出不匹配：你用了F.nll_loss计算损失，但分类头最后没有添加nn.LogSoftmax(dim=1)层，nll_loss要求输入为对数概率，直接传入全连接原始输出会导致损失计算完全错误。
  修改方案二选一：
  1. 在分类头最后加上nn.LogSoftmax(dim=1)，保留现有损失函数
  2. 把损失函数换成nn.CrossEntropyLoss()，无需修改网络结构，CrossEntropyLoss内部自动集成了Softmax和NLLLoss计算逻辑，更适合分类任务
• 训练轮次严重不足：你Config类中定义了n_epochs=50，但实际训练循环写的是for epoch in range(2)，只跑2轮完全不足以让模型收敛。
  修改方法：把循环改成for epoch in range(conf.n_epochs)
• 池化设计与输入尺寸不匹配：原始AlexNet是针对224×224分辨率的图像设计的，CIFAR10只有32×32分辨率，按照你现有的卷积、池化参数，特征图在计算过程中会被压缩到尺寸为0，完全无法提取有效特征。
  修改方法：删掉特征提取模块最后一个nn.MaxPool2d(kernel_size=3,stride=2)层，或者调小第一个卷积层的 kernel_size 到3/5、步长改成1，适配小尺寸输入。

可优化的调整点 #

• 增加数据增强：目前的训练预处理只有归一化，可以增加随机裁剪、随机水平翻转等操作，提升模型泛化能力：

  transform=torchvision.transforms.Compose([
      transforms.RandomCrop(32, padding=4),
      transforms.RandomHorizontalFlip(),
      transforms.ToTensor(),
      transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
  ])
  

• 调整学习率：可以适当调高初始学习率到1e-3，搭配学习率衰减策略（比如每10轮学习率乘以0.5），加快收敛速度。
• 设备加速：如果有GPU的话，把模型和数据都移动到cuda上训练，训练速度会提升数倍。

修改完上述致命错误后，模型准确率可以轻松达到80%以上，调整优化点后可以进一步提升到90%左右。

内容的提问来源于stack exchange，提问作者antpur