PyTorch中Subset与SubsetRandomSampler使用精度差异问题求助

问题核心原因排查（按出现概率从高到低排序） #

• 变量名冲突风险：你的代码里将kf.split()返回的训练/验证索引直接命名为trainLoader/valLoader，如果这两个变量名在循环前已经被定义为全量数据集的加载器，会导致SubsetRandomSampler拿到的索引不是K折划分的结果。而Subset方案里如果因为运行顺序问题刚好拿到了正确的索引，就会出现准确率差异。建议立刻把循环变量改为train_idx、val_idx避免冲突。
• 未设置全局随机种子：SubsetRandomSampler的随机采样逻辑依赖PyTorch的全局随机种子，如果你没有固定torch.manual_seed、numpy.random.seed以及cudnn的确定性配置，可能出现某一轮的训练采样刚好覆盖的类别极不均衡，导致首个epoch准确率接近随机猜测的10%水平。而Subset方案用DataLoader的shuffle参数时如果触发了其他种子配置，就不会出现这个问题。
• 数据集顺序未打乱的KFold划分：CIFAR10原始训练集是按类别顺序存储的，每类5000张连续排列。如果你使用的sklearn.model_selection.KFold没有设置shuffle=True，划分出来的训练集可能出现连续多类缺失，而Subset方案在创建子集时如果有额外的打乱逻辑，就不会出现类别不均衡问题。
• 隐式的数据集Transform修改：如果你的trainSet对象的transform是可变对象，在多次调用时会被修改，那么Subset方案每次创建新的Subset对象会重新加载transform配置，而SubsetRandomSampler一直复用同一个trainSet对象，可能导致训练时的数据增强没有正常生效，模型无法学到有效特征。

快速验证方案 #

你可以在两种方案的DataLoader迭代前，各打印10个batch的标签分布，就能快速定位问题：

for _, (_, labels) in enumerate(dataloaders['train']):
    print(labels.numpy())
    break

如果SubsetRandomSampler方案的batch标签大量重复，或者缺少某几类，就能直接确认是采样的索引出了问题。

内容的提问来源于stack exchange，提问作者user17182657