Caffe预训练模型微调后测试精度无法提升至0.9+的问题求助

作为Caffe新手，我最近碰到一个棘手的问题：用同一个solver配置文件，从零开始训练模型时测试精度能轻松冲到0.9+，但基于pruned_sqznet.caffemodel预训练模型微调时，精度却一直在0.5-0.6之间波动，怎么才能让微调后的模型精度也达到0.9+呢？

以下是我的训练命令与配置文件：

• 从零训练命令：

  ./build/tools/caffe train --solver=solver_cmp.prototxt -gpu 0
  

• 微调命令：

  ./build/tools/caffe train --solver=solver_cmp.prototxt --weights=pruned_sqznet.caffemodel -gpu 0
  

• solver_cmp.prototxt配置：

  net: "pruned_sqznet.prototxt"
  test_iter: 80
  test_interval: 100
  base_lr: 0.01
  type: "Nesterov"
  display: 40
  max_iter: 100000
  iter_size: 16 #global batch size = batch_size * iter_size
  gamma: 0.0001
  lr_policy: "poly"
  power: 1.0 #linearly decrease LR
  momentum: 0.9
  weight_decay: 0.005
  snapshot: 10000
  snapshot_prefix: "examples/crowd/models/cmp_fine"
  random_seed: 42
  solver_mode: GPU
  average_loss: 40
  

可能的解决方向： #

• 调整学习率，避免冲乱预训练权重：
  你从零训练用的base_lr: 0.01对于微调来说太大了——预训练模型已经学到了通用特征，这么高的学习率会快速覆盖掉这些有用的参数，导致模型“忘本”。建议先把base_lr降到0.001甚至0.0001，先让模型在预训练基础上慢慢适配你的数据集；如果效果还不好，可以试试先固定底层特征提取层的学习率（在prototxt里给这些层加上param { lr_mult: 0 decay_mult: 0 }），只训练顶层分类层，等顶层精度上来后再放开所有层的学习，同时进一步降低学习率。

• 检查剪枝模型与网络定义的一致性：
  pruned_sqznet.caffemodel是剪枝后的模型，很可能和你当前的pruned_sqznet.prototxt存在结构不匹配的情况——比如某些层的通道数、参数形状被裁剪后，和prototxt定义不一致，导致权重加载不全或错误。你可以用Caffe的inspect工具检查模型参数：

  ./build/tools/caffe inspect --model pruned_sqznet.prototxt --weights pruned_sqznet.caffemodel
  

  对比输出的参数形状和prototxt里的层定义，确保完全对应。

• 优化权重加载策略：
  用--weights加载时，Caffe会默认加载所有名称匹配的层，但剪枝后的模型可能有部分层被移除，这时候未匹配的层会随机初始化，拉低整体精度。如果你的Caffe版本支持，可以试试添加--fine-tune参数（部分版本可能没有）；或者手动修改prototxt，给不需要更新的层设置lr_mult:0，只让需要适配的层参与训练。

• 调整batch size相关参数：
  你的全局batch size是batch_size * 16，从零训练时模型从随机初始化开始能适应这个规模，但微调时预训练模型可能是用更小的batch size训练的，大batch size可能导致梯度不稳定。可以先把iter_size调小到4或8，让模型先稳定下来，精度提升后再逐步调回原来的设置。

• 确保数据预处理完全一致：
  从零训练和微调时，数据预处理的细节必须完全相同——包括均值文件路径、归一化方式、数据增强（比如随机裁剪、翻转）的参数等。如果微调时预处理和从零训练不一样，模型看到的输入分布不同，自然学不到正确的特征，精度肯定上不去。

内容的提问来源于stack exchange，提问作者qiang guo