PyTorch转换CIFAR数据集为TensorDataset训练ResNet34精度异常

你当前TensorDataset实现出现精度偏差的核心原因，是错误地在预加载阶段提前执行了带随机操作的训练增强逻辑：

• 实例化带transform_train的CIFAR10数据集后，你立刻循环遍历全量样本，把每一张图对应的随机裁剪、随机翻转结果固定存储到xs列表中
• 后续基于这些固定的增强样本构建TensorDataset时，所有随机增强操作已经在预遍历阶段被执行完成，不会在后续训练的每个epoch重新生成新的增强形态

这和原生Dataset的运行逻辑有本质区别：

• 原生CIFAR10的transform是在DataLoader每次取样本时实时触发，同一个训练样本在不同epoch、不同batch中被取出时，会重新执行一遍随机增强，持续给训练过程引入随机扰动
• 固定增强的TensorDataset版本，所有训练样本的增强形态是唯一、固定的，模型很容易记住这批固定样本的特征直接把训练集拟合到100%准确率，但因为没有持续的随机扰动做正则，泛化能力直接下降10个点，完全对应你观察到的测试集从90%掉到80%的现象。

你计划基于预加载的TensorDataset按类别拆10个独立数据集的思路，除了上述破坏数据增强逻辑的核心问题外，还存在两个额外问题：

• 内存冗余：把全量增强后的样本堆叠成张量，相当于在内存中额外存了一份数据集副本，小数据集（如CIFAR10）尚可支撑，换更大的数据集会直接触发显存/内存溢出
• 灵活性差：如果后续需要调整训练增强的参数（比如修改随机裁剪的padding、新增随机颜色抖动增强），必须重新全量遍历预加载所有样本，无法灵活调整增强策略

保留实时增强逻辑的按类别拆分实现 #

不需要提前遍历、预加载增强后的样本，通过自定义Dataset类封装索引筛选逻辑，在每次取样本时实时触发transform，既满足按类别拆分独立数据集的需求，又完全对齐原生CIFAR10的训练逻辑：

from torch.utils.data import Dataset
from PIL import Image

class CIFAR10CategorySplit(Dataset):
    def __init__(self, root, train, transform, target_class):
        # 加载原生CIFAR10的原始数据，不提前执行transform
        self.base_dataset = torchvision.datasets.CIFAR10(
            root=root, train=train, download=True
        )
        self.transform = transform
        # 仅筛选对应类别的样本索引，不提前加载图像
        self.sample_indices = [
            idx for idx, (_, label) in enumerate(self.base_dataset)
            if label == target_class
        ]

    def __len__(self):
        return len(self.sample_indices)

    def __getitem__(self, idx):
        # 取样本时实时从原始数据中读取图像，执行transform
        real_idx = self.sample_indices[idx]
        raw_img, label = self.base_dataset.data[real_idx], self.base_dataset.targets[real_idx]
        img = Image.fromarray(raw_img)
        if self.transform:
            img = self.transform(img)
        return img, label

你可以基于这个类直接实例化10个独立的数据集实例，传入0-9的类别编号即可得到对应类别的独立数据集，每个实例运行时的随机增强逻辑和原生CIFAR10完全一致，不会出现精度偏差。

仅适合使用TensorDataset的场景 #

只有当你的预处理流程是确定性的、不需要逐epoch重新执行随机操作时，才适合把预处理后的张量堆叠为TensorDataset。比如无随机增强的验证集、测试集预处理，这种场景下提前处理后存为TensorDataset不会有精度问题，训练集场景绝对不能用这种预加载固定增强的方式。

内容的提问来源于stack exchange，提问作者Dmitry