Detectron2同代码同数据跨平台训练损失结果差异显著问题

• cfg.SEED只覆盖Detectron2内部部分逻辑的随机行为，管不到全链路随机源。Python自带的random库、NumPy、PyTorch的CPU/GPU随机状态、Dataloader多进程worker的随机种子都不受这个参数控制，不同平台启动时这些随机源初始状态不一样，训练轨迹从一开始就会分叉。
• CUDA默认的卷积算子选型和硬件绑定。三个测试环境的GPU分别是Azure NC6配套的Tesla K80、Colab免费版默认的Tesla T4、本地的RTX 3080，跨了三个硬件架构，默认开启的cudnn.benchmark会针对当前硬件选择最快的卷积实现，不同算法的浮点计算顺序存在差异，会引入数值误差。
• 小数据集对波动容忍度极低。当前测试仅跑1200轮、单步batch size只有2，单步梯度更新受batch样本组成、数值误差的影响非常大；换用大数据集之后迭代轮次多、样本覆盖全，单步的波动会被整体收敛趋势抹平，自然就看不出明显差异。

按顺序在训练代码最开头添加配置，锁死所有不确定因素：

1. 导入完所有依赖、加载模型配置前，先把通用随机源全部锁死：

import os
import random
import numpy as np
import torch

seed = 5
random.seed(seed)
os.environ["PYTHONHASHSEED"] = str(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)

2. 强制CUDA走确定性算法，关闭自动选择最快算子的逻辑：

torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False

注意：开启该配置会小幅降低训练速度，但可以保证相同CUDA、cuDNN版本下的计算逻辑完全一致。

3. 固定Dataloader多进程worker的随机种子，避免数据加载顺序不一致：

def seed_worker(worker_id):
    worker_seed = torch.initial_seed() % 2**32
    np.random.seed(worker_seed)
    random.seed(worker_seed)

将该函数传入Detectron2的Dataloader构造参数中，覆盖默认的worker初始化逻辑即可。

补充说明：不同架构GPU的浮点计算单元存在硬件级差异（比如RTX 3080支持TF32计算、Tesla K80没有Tensor Core单元），就算完成以上配置，跨硬件平台的逐轮损失也不会100%完全相等，但不会出现偏差极大的问题，最终模型收敛精度基本一致。

内容的提问来源于stack exchange，提问作者Natrium2