循环训练多个PyTorch模型时，为何需重复设置随机种子？

• 全局随机状态的持续性：PyTorch的随机模块（包括CPU和CUDA后端）维护着全局的随机状态序列。当你在循环外仅设置一次种子后，第一次训练过程中所有随机操作（比如模型权重初始化、数据加载时的随机采样/增强、Dropout层的随机失活、部分优化器的随机调整逻辑等）会不断消耗这个随机序列，推进状态计数器。第二次训练启动时，随机状态已经处于第一次训练结束后的位置，而非初始的种子起点，生成的随机数完全不同，最终导致两次训练的模型初始化、训练过程走向都不一致，结果自然无法复现。

• 每轮训练需要重置全链路随机源：将种子设置代码放入循环内，每次训练前重新执行种子初始化（包括torch.manual_seed(seed)、torch.cuda.manual_seed_all(seed)，如果用到NumPy或Python原生随机模块还需同步设置np.random.seed(seed)、random.seed(seed)），能把所有涉及的随机源都重置到相同的初始状态。这样每一轮训练的随机操作都会从完全一致的序列起点生成数据，确保训练流程、模型表现完全可复现。

• 容易遗漏的隐性随机因素：还有一些容易被忽略的随机源会影响复现性，比如DataLoader启用多线程时，每个worker的随机状态需要通过worker_init_fn单独设置种子；另外CuDNN的部分优化算法存在不确定性，需要添加torch.backends.cudnn.deterministic = True和torch.backends.cudnn.benchmark = False来强制使用确定性计算逻辑，避免自动选择非确定性的加速算法。

内容的提问来源于stack exchange，提问作者Techie5879