预训练RetinaNet推理结果非确定性问题排查请求

以下是针对同一图像多次运行输出标签（数量）随机变化问题的具体排查步骤：

• 检查模型初始化与权重加载的重复性
  确认RetinaNet实例是否被重复创建，或权重加载逻辑存在疏漏：

  • 如果每次预测都重新实例化模型，且权重加载代码未正确读取预训练权重（比如路径错误但未抛出异常），模型会使用随机初始化参数，导致输出随机。
  • 验证方法：在权重加载完成后，打印模型某一固定层的参数统计值（如print(model.backbone.conv1.weight.mean())），多次运行后若数值不一致，说明权重未被正确加载或模型被重复初始化。

• 强制开启推理模式
  多数框架（如PyTorch）中模型默认处于训练模式，此时Dropout、BatchNorm等层会引入随机行为，即使在CPU上也会导致输出波动。必须在推理前切换到评估模式：

  model.eval()  # 切换到推理模式
  with torch.no_grad():  # 关闭梯度计算，避免随机影响同时提升效率
      outputs = model(input_tensor)
  

• 排查预处理流程的随机性
  若推理阶段的图像预处理仍保留训练时的随机增强（如随机翻转、随机裁剪、随机亮度调整），会导致每次输入模型的张量不一致，进而输出变化。确保推理预处理完全是确定性操作：

  • 移除RandomHorizontalFlip、RandomResizedCrop等随机变换，替换为Resize、CenterCrop、Normalize等固定逻辑。

• 验证权重加载的正确性
  检查权重加载代码的细节：

  • 若使用torch.load()加载权重，需指定map_location='cpu'适配CPU运行环境，避免因设备不匹配导致加载异常（部分情况下可能静默失败， fallback到随机初始化）。
  • 若使用strict=False加载权重（如model.load_state_dict(weight_dict, strict=False)），未匹配的层参数会保持随机初始化状态，导致输出波动。建议先移除strict=False，查看是否有参数不匹配的报错，再针对性调整权重或模型结构。

• 固定全局随机种子
  即使在CPU环境下，未固定的随机种子可能导致部分操作（如自定义NMS逻辑、数据采样等）产生随机结果。在代码开头添加以下代码固定所有随机源：

  import random
  import numpy as np
  import torch
  
  random.seed(42)
  np.random.seed(42)
  torch.manual_seed(42)
  torch.backends.cudnn.deterministic = True
  torch.backends.cudnn.benchmark = False
  

内容的提问来源于stack exchange，提问作者user1315621