Faster R-CNN变体边界框回归训练稳定性优化方法问询

• 分阶段单独训练RPN
  先不把RPN和检测头绑定训练，单独优化RPN直到能稳定生成IoU>0.5的RoI。训练时固定骨干网络权重，只更新RPN的分类与回归分支，先把候选框质量提上去，避免后续检测头突然面对大量低质量RoI导致损失跳变。

• 放宽回归损失的正样本IoU阈值
  不要死卡IoU>0.5才计算回归损失，可将正样本阈值调低到0.3-0.4。这样训练初期即使RPN生成的RoI质量不高，检测头也能拿到正样本进行学习，不会一直处于损失为0的停滞状态。同时控制正负样本比例在1:3到1:5之间，避免极端样本分布引发梯度异常。

• 添加梯度裁剪限制
  针对损失骤升带来的大梯度问题，在优化器中加入梯度裁剪，比如设置clip_norm=1.0或clip_value=0.5，把过大的梯度限制在合理范围，防止参数被一次性改动过度。

• 用预训练权重初始化模型
  不要从零开始训练，用ImageNet预训练的骨干网络（如ResNet）初始化，检测头的卷积层采用预训练权重或Xavier等小方差初始化方式，让模型初始就具备基础的特征提取能力，避免训练初期完全无方向的震荡。

• 采用学习率warm-up策略
  初始阶段用极小的学习率（如1e-5）进行warm-up训练，前几轮让模型缓慢适应数据，等RPN生成的RoI质量稳定后，再将学习率调整到正常范围（如1e-4），避免大学习率在训练初期引发参数剧烈波动。

• 更换更稳定的回归损失函数
  把纯L1/L2损失换成平滑L1损失（Smooth L1 Loss），它在误差小时用L2（梯度平缓）、误差大时用L1（梯度不爆炸），比单一损失更稳定。同时对边界框回归目标做标准化处理（减去均值、除以方差），让损失值的量级更可控，避免突然跳升。

内容的提问来源于stack exchange，提问作者Simon