为何预训练ResNet101微调FC层后在体育名人分类中精度低于ResNet50？

可能的原因 #

• 预训练特征适配性差异：ResNet101的预训练特征更偏向ImageNet 1000类的复杂抽象特征，与你的4分类任务特征匹配度低。仅训练FC层无法将这类高度抽象的特征有效映射到你的任务标签上，而ResNet50的特征相对更通用，更容易通过简单的FC层适配小任务。
• 训练量不足：5个epoch对于ResNet101的FC层学习特征映射来说可能不够。即使FC层参数数量和ResNet50一致，但ResNet101输出的特征分布与任务目标的差距更大，需要更多迭代才能完成有效映射。
• 特征尺度与初始化问题：ResNet101的深层特征尺度可能和ResNet50存在差异，如果FC层采用默认随机初始化，可能无法快速拟合这种特征分布，导致梯度更新效率低下，训练初期就陷入差的局部最优。
• 数据集分布差异：如果你的数据集和ImageNet数据分布差异较大，ResNet101的深层特征是针对复杂分类任务优化的，在小数据集或差异大的任务上，这种“过度优化”的特征反而会成为负累，仅靠FC层无法纠正。

解决建议 #

• 解冻部分顶层骨干：不要冻结整个ResNet101，尝试解冻最后1-2个block与FC层一起微调，让骨干特征能适配你的任务。
• 调整优化策略：给FC层设置更高的学习率（比如比解冻的骨干层高10倍），或者改用AdamW优化器替代SGD，提升梯度更新效率。
• 增加训练epoch：适当增加训练轮数，给FC层足够的时间学习特征到标签的映射关系。
• 优化FC层初始化：使用torch.nn.init.kaiming_normal_或torch.nn.init.xavier_normal_初始化FC层参数，而不是默认的随机初始化。
• 强化数据增强：通过随机裁剪、翻转、色彩扰动等数据增强手段扩充有效数据量，帮助模型更好地学习任务特征。

内容的提问来源于stack exchange，提问作者mam1680