设置Python随机种子后实验结果不一致的问题求助

你的核心问题是固定随机种子后，仅调整数据集遍历顺序就导致实验结果不一致，这说明当前的种子设置未覆盖所有随机性来源，或批量运行时存在状态残留。以下是具体排查和解决建议：

一、补全随机种子覆盖范围 #

现有set_seed函数遗漏了关键随机性环节，需补充：

• 固定Python哈希种子：避免字典等哈希表迭代顺序的随机性
• 禁用CUDNN自动调优并开启确定性模式：CUDNN的benchmark模式会引入随机优化策略

修改后的set_seed函数：

import os
import random
import numpy as np
import torch

def set_seed(seed):
    os.environ['PYTHONHASHSEED'] = str(seed)
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False

二、消除批量运行的状态残留 #

两层循环批量实验时，模型、优化器等实例的状态残留会干扰后续实验：

• 每次实验（数据集+模型配置组合）开始前，重新初始化模型、优化器、损失函数，禁止复用循环外的实例
• 每次实验结束后调用torch.cuda.empty_cache()清理GPU显存残留
• 多进程数据加载时，给每个worker单独设置种子：

def worker_init_fn(worker_id):
    np.random.seed(42 + worker_id)
    random.seed(42 + worker_id)

# 创建DataLoader时添加该参数
dataloader = DataLoader(dataset, num_workers=4, worker_init_fn=worker_init_fn)

三、确保实验完全独立 #

• 将数据集加载、模型定义、优化器创建等所有实验相关操作放在循环内部，避免外部变量状态干扰
• 每次循环开始时重新调用set_seed(42)，强制重置所有随机状态

四、排查数据集加载的随机性 #

• 检查数据集__getitem__中的数据增强等随机操作，确保其种子被固定，或每次实验重新初始化随机状态
• 若使用shuffle=True，需确保每次创建DataLoader时都基于固定种子生成打乱顺序，避免受前一次实验影响

内容的提问来源于stack exchange，提问作者orange