PyTorch指定Sampler后,DataLoader每次迭代返回的样本子集是否相同?
问题结论
- 无固定随机种子的默认场景下,两次迭代返回的
data, label样本对集合不同,单批次内的样本组成、所有批次的遍历顺序都会发生变化。
原理说明
你使用的RandomSampler采样器的核心逻辑是:每次被DataLoader调用时,都会对整个数据集的全量索引做一次随机打乱,再按设定的batch size拆分出每一批的索引。而DataLoader每启动一次完整的遍历(也就是每写一次for data, label in dataloader循环),都会重新触发sampler的索引生成逻辑,相当于每次遍历前都重新做了一次全局随机打乱,自然两次拿到的样本序列不会一致。
固定采样结果的方法
如果需要两次遍历拿到完全一致的样本序列,只需要提前固定所有相关模块的随机种子即可,参考实现代码如下:
import torch import random import numpy as np def fix_random_seed(seed=42): # 固定各依赖库的随机种子 random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) # 适配GPU场景的种子固定 torch.cuda.manual_seed_all(seed) # 关闭cudnn的动态优化保证可复现 torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False fix_random_seed(42) # 后续初始化数据集、采样器、DataLoader后,多次遍历的采样结果会完全一致
内容的提问来源于stack exchange,提问作者Long Luu
相关产品推荐
相关产品推荐

