TensorFlow2下从零搭建Faster R-CNN ResNet101 V1模型训练方法

你现在常规参照公开配置跑Faster R-CNN ResNet101 V1 800x1333时，默认是会自动加载COCO数据集上训练好的预训练权重的，根本不会触发全权重随机初始化——这个是TensorFlow Object Detection API的默认逻辑：只要配置文件里存在预训练checkpoint的路径配置，不管你有没有调整分类类别数，代码都会优先加载所有维度匹配的层的预训练权重，仅对维度和自定义类别数不匹配的分类头做随机初始化，远达不到“完全忽略预训练权重从零搭建训练”的要求。

• 严格对齐固定架构的参数定义，不做任何维度偏移
  • 固定输入分辨率为800x1333，严格复刻原架构的anchor设置：RPN层的anchor尺度、长宽比完全照搬公开配置的固定值，不随意调整
  • 骨干网严格对齐ResNet101 V1结构：按照V1版本的残差块顺序（先卷积、再BN、最后ReLU激活）搭建，停在conv4_x层输出做后续检测分支接入，不要误用V2版本的残差结构（V2是先BN、再ReLU、最后卷积）
  • 检测头维度完全匹配：ROI Align的输出尺寸、两层1024维全连接层的结构和原固定架构保持一致，不随意增减神经元数量
• 从代码和配置层面彻底切断预训练权重加载路径
  • 删除配置文件中所有和权重恢复相关的参数：包括fine_tune_checkpoint路径、fine_tune_checkpoint_type类型、load_all_detection_checkpoint_vars开关等所有关联checkpoint加载的字段
  • 不调用任何自带预训练权重的TF/Keras内置接口：比如tf.keras.applications.ResNet101(weights='imagenet')这类封装接口不要用，手动从头写ResNet101 V1的网络结构，避免被动引入预训练权重
  • 为所有层显式指定随机初始化规则：卷积层用He正态初始化，偏置项初始化为0，BN层默认权重为1、偏置为0，RPN分支、检测分支的参数保持和原架构一致的初始化范围，不依赖框架默认的隐式权重加载逻辑
• 做垂直领域适配的针对性调整
  • 修改检测头最后一层的输出维度：替换为自己垂直领域的类别数（包含背景类）
  • 替换数据集管线：把原COCO格式的读取逻辑替换为自己标注的数据集，保留和原架构一致的图像预处理流程（像素值归一化、通道均值调整等），不要随意修改预处理步骤导致特征分布偏移
  • 调整训练超参适配从零训练场景：因为没有预训练权重做初始化，原配置针对微调设置的低学习率（1e-4）无法支撑收敛，需要把初始学习率提升到1e-3~1e-2区间，搭配线性warmup策略，避免前期梯度震荡过大
• 训练启动前做初始化校验

  必须在模型构建完成后遍历所有网络层，打印权重的分布统计值，确认没有出现预训练权重的典型参数分布（ImageNet预训练的ResNet卷积层权重普遍均值接近0、方差极低，和He随机初始化的参数分布有可明确区分的差异），从流程上确认没有隐式加载预训练权重

• 别信网上“改完类别数就是从零训练”的误区：只要配置里留了预训练checkpoint的路径，不管你类别数改多少，代码都会把所有维度匹配的层的预训练权重加载进来，只有维度对不上的分类头是随机初始化的，本质还是在COCO预训练权重基础上做微调，完全达不到“忽略所有预训练权重”的要求
• 从零搭建的模型收敛周期比预训练微调场景长2~3倍，需要足够的标注数据量支撑，否则很容易出现过拟合、检测精度上不去的问题
• 从零训练的模型前期训练损失会震荡比较大，别看到前几十个epoch精度上不去就误以为结构搭错了，这是没有预训练特征先验的正常表现，不要随意修改架构参数

内容的提问来源于stack exchange，提问作者Ahmed Salem