PyTorch SubsetRandomSampler拆分CIFAR10后dataloader长度打印异常
问题核心原因
你打印语句读取的是DataLoader挂载的原始全量CIFAR10数据集的总长度,完全没有关联自定义采样器管控的有效样本范围。
train_dataloader.dataset、valid_dataloader.dataset两个属性,指向的都是拆分前的原始CIFAR10_training对象。这个对象本身的固有长度就是CIFAR10训练集的全量50000样本,无论你给DataLoader配置什么采样器,直接读取这个属性的长度,永远会返回全量数据集的大小,不会自动适配你切分的索引范围。- 你打印结果里出现的10000这个数值,属于代码书写偏差导致的异常:只要两个DataLoader都传入同一个原始训练集对象,两次读取dataset长度的结果本该完全一致,出现10000大概率是后续代码不小心修改了valid_dataloader绑定的数据源为CIFAR10内置测试集,或是打印时错引了其他变量。
正确的样本量与批次计算方式
你拆分得到的索引范围本身是完全正确的,只是读取数据量的方式错了:
- 拆分后的实际有效训练样本数,直接读取采样器的长度即可,即
len(train_sampler),对应你切分的45000个样本 - 拆分后的实际有效验证样本数,直接读取验证采样器的长度即可,即
len(val_sampler),对应你切分的5000个样本 - DataLoader本身在计算总批次数时,会自动适配绑定的采样器的长度,直接调用
len(train_dataloader)、len(valid_dataloader)得到的批次数,是完全按照你切分后的样本量计算的,不会把全量数据集算进去。
修正后的打印示例
# 打印拆分后实际参与训练/验证的样本总数 print(len(train_sampler), len(val_sampler)) # 打印两个DataLoader迭代时的总批次数 print(len(train_dataloader), len(valid_dataloader))
顺带提醒,你写的最后一行打印语句缺失了末尾的右括号,运行时会触发语法错误,写代码时注意补全。如果后续你希望直接通过DataLoader拿到拆分后的子集对象,而不是依赖Sampler管控索引,也可以用
torch.utils.data.Subset把原数据集和拆分好的索引封装成独立的子集对象,这种情况下直接读取子集的长度就能得到正确的样本数。
内容的提问来源于stack exchange,提问作者arthur
相关产品推荐
相关产品推荐

