You need to enable JavaScript to run this app. PyTorch指定Sampler后,DataLoader每次迭代返回的样本子集是否相同?
优惠活动
大模型
产品
解决方案
定价
更多

PyTorch指定Sampler后,DataLoader每次迭代返回的样本子集是否相同?

问题结论
  • 无固定随机种子的默认场景下,两次迭代返回的data, label样本对集合不同,单批次内的样本组成、所有批次的遍历顺序都会发生变化。
原理说明

你使用的RandomSampler采样器的核心逻辑是:每次被DataLoader调用时,都会对整个数据集的全量索引做一次随机打乱,再按设定的batch size拆分出每一批的索引。而DataLoader每启动一次完整的遍历(也就是每写一次for data, label in dataloader循环),都会重新触发sampler的索引生成逻辑,相当于每次遍历前都重新做了一次全局随机打乱,自然两次拿到的样本序列不会一致。

固定采样结果的方法

如果需要两次遍历拿到完全一致的样本序列,只需要提前固定所有相关模块的随机种子即可,参考实现代码如下:

import torch
import random
import numpy as np

def fix_random_seed(seed=42):
    # 固定各依赖库的随机种子
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    # 适配GPU场景的种子固定
    torch.cuda.manual_seed_all(seed)
    # 关闭cudnn的动态优化保证可复现
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False

fix_random_seed(42)
# 后续初始化数据集、采样器、DataLoader后,多次遍历的采样结果会完全一致

内容的提问来源于stack exchange,提问作者Long Luu

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.15 10:03:04