使用torch.manual_seed时如何选择seed参数？不同GPU训练复现相关问题

核心结论 #

你完全可以选择10、100、1000这类任意大小的合法非负整数作为torch.manual_seed()的入参，不存在数值的好坏限制。

背后原理 #

• PyTorch的随机种子是伪随机数生成器（PRNG）的初始状态输入，所有模型训练过程中的随机操作（权重初始化、数据集打乱、dropout丢弃、图像随机增强等）都是基于这个初始状态，通过固定算法推导生成的固定随机序列。只要初始seed相同，相同软硬件环境下运行同一套代码，生成的随机序列就完全一致。
• seed的合法取值范围是[0, 2^64 - 1]区间内的所有非负整数，不同seed的唯一区别是对应了不同的随机序列，不会对模型训练的收敛性、最终效果带来额外的正向或负向影响，也不存在“更优seed”的说法。

跨GPU对比训练的额外注意事项 #

如果你的目标是对比不同GPU上的训练结果差异，仅设置torch.manual_seed(seed)不足以保证随机性完全对齐，还需要做如下配置：

• 固定CUDA侧的随机种子：添加torch.cuda.manual_seed_all(seed)配置，统一所有GPU设备的初始随机状态
• 关闭cudnn的不确定优化：设置torch.backends.cudnn.benchmark = False、torch.backends.cudnn.deterministic = True，避免cudnn卷积自适应优化算法带来的浮点运算差异
• 同步固定其他依赖库的随机种子：如果用到Python内置随机库、Numpy的随机操作，需要同步添加random.seed(seed)、np.random.seed(seed)配置
• 固定数据加载进程的种子：给DataLoader配置worker初始化函数，避免多进程数据加载时的随机状态不一致
• 注意不同型号GPU的固有误差：即使所有随机性都完全固定，不同架构的GPU也可能因为底层算子实现、浮点运算精度的微小差异，导致最终结果有极小幅的波动（通常ImageNet训练下top1准确率差异在0.1%以内属于正常范围），不属于训练结果的本质差异。

内容的提问来源于stack exchange，提问作者j35t3r