Detectron2中SOLVER.IMS_PER_BATCH与BATCH_SIZE_PER_IMAGE的区别

核心差异 #

两个配置项作用维度、生效阶段完全不同，根本不是同一个层面的“批量大小”：

• SOLVER.IMS_PER_BATCH：图像级全局训练批量，是所有深度学习训练任务通用的batch size概念，指每次参数更新（单步迭代）时，模型总共处理的完整输入图像数量。这个值决定了单步梯度计算覆盖的图像样本总量，是影响基础显存占用、梯度收敛稳定性的核心参数。

  注意：Detectron2中这个值是多卡训练的总图像数，不是单卡负载。比如8卡训练设SOLVER.IMS_PER_BATCH=16，单卡实际仅分配2张图的计算量。

• MODEL.ROI_HEADS.BATCH_SIZE_PER_IMAGE：单图ROI区域采样批量，仅作用于二阶段检测模型（Faster R-CNN、Mask R-CNN等）的ROI Head环节，和全局图像批量没有直接关联。二阶段模型跑完RPN网络后，单张图会生成数百上千个候选区域框，不可能全部送入后续ROI Head做分类、回归计算，这个参数就定义了：从单张图的所有候选ROI中，采样多少个正负样本送入ROI Head计算损失，官方默认值为512。

协同生效逻辑 #

两个参数分属训练流程的不同环节，不存在覆盖、互斥关系，配合规则非常明确：

1. 生效链路互不干扰
   SOLVER.IMS_PER_BATCH从数据加载阶段就开始生效，控制从Backbone特征提取到RPN候选框生成全流程的单步处理规模；MODEL.ROI_HEADS.BATCH_SIZE_PER_IMAGE仅在RPN输出候选框后、ROI Head前向计算前的采样环节生效，不会改变单步处理的图像总数，也不会影响Backbone、RPN阶段的计算量。
2. 共同决定ROI阶段的总计算量
   单步迭代中，送入ROI Head的总ROI样本量 = SOLVER.IMS_PER_BATCH * MODEL.ROI_HEADS.BATCH_SIZE_PER_IMAGE。比如设置SOLVER.IMS_PER_BATCH=8、MODEL.ROI_HEADS.BATCH_SIZE_PER_IMAGE=512，单步ROI Head实际要处理4096个候选区域，这一阶段的显存占用和这个乘积直接正相关。
3. 调参影响完全独立
   • 调大SOLVER.IMS_PER_BATCH：会线性提升Backbone、RPN阶段的显存占用，单步覆盖的图像场景更丰富，梯度统计更贴合全局数据分布，通常可以配合线性放大学习率提升收敛速度；如果显存不足，最先触发OOM的一般是Backbone的特征图存储环节。
   • 调大MODEL.ROI_HEADS.BATCH_SIZE_PER_IMAGE：仅会提升ROI Head阶段的显存占用，单张图参与训练的候选区域更多，理论上对小目标、难例的学习更充分，但如果设得过高，会导致单图内背景负样本占比过高（默认正负样本采样比例为1:3），反而会压低正样本的损失权重，官方默认的512是经过大量验证的通用最优值，非特殊场景不需要大幅调整。

常见误区：不要把ROI采样阶段的区域批量等同于全局训练批量，二者统计维度完全不同——前者是单张图像内部的局部区域样本，后者是完整的图像级样本。

内容的提问来源于stack exchange，提问作者devman3211