PyTorch中配置自定义CSV测试集不参与训练用于准确率评估的方法
自定义CSV数据集的训练/测试集隔离配置
你当前代码的核心问题不是test_dataset会不会被意外带入训练流程,而是两个数据集实例都加载了同一份全量heart.csv数据,根本没有做训练/测试的数据拆分——就算流程上完全不混用两边的数据,评估样本和训练样本完全重合的结果,也会严重虚高,失去基准参考价值。
按照下面的步骤配置,可以从数据层、流程层双重隔离,让测试集完全不参与梯度更新流程,作为独立的评估基准:
1. 从物理层拆分全量CSV数据
不需要修改你写好的MyDataset类,直接用PyTorch内置的random_split工具,把加载的全量数据集按比例拆成互不重合的训练子集和测试子集:
from torch.utils.data import random_split # 先加载完整的原始CSV数据集 full_dataset = MyDataset("heart.csv", input_size) # 按8:2的比例拆分(可根据数据量、任务需求调整拆分比例) train_size = int(0.8 * len(full_dataset)) test_size = len(full_dataset) - train_size # 拆分得到两个独立的子集,两者持有的样本索引完全不重合,没有数据重叠 train_subset, test_subset = random_split(full_dataset, [train_size, test_size]) # 分别给两个子集初始化数据加载器 # 训练加载器保留shuffle打散样本顺序,测试加载器不需要打乱顺序 train_loader = DataLoader(train_subset, batch_size=batch_size, shuffle=True) test_loader = DataLoader(test_subset, batch_size=batch_size, shuffle=False)
如果需要固定拆分结果方便实验复现,可以在拆分前设置固定随机种子:
torch.manual_seed(42)
如果你的CSV文件本身已经提前划分好训练/测试的样本标记,也可以在MyDataset的初始化里增加过滤逻辑,直接加载对应类别的样本,不需要额外拆分。
2. 从流程层严格隔离训练和评估逻辑
PyTorch本身不会主动判断数据是训练集还是测试集,只要你不在训练环节把测试数据送进模型做梯度更新,测试集就永远不会参与训练过程。需要严格遵守两个流程规则:
- 训练循环里只遍历
train_loader的批次:所有前向计算、损失计算、反向传播、参数更新的操作,全程不调用test_loader取数,保证梯度计算的数据源仅来自训练集 - 评估阶段严格关闭训练态逻辑:
- 调用
model.eval()把模型切换到评估模式,关闭Dropout、BatchNorm等仅在训练阶段生效的层逻辑 - 用
torch.no_grad()包裹整个评估流程,关闭梯度计算——就算对测试数据做前向传播,也不会产生任何可用于参数更新的梯度
- 调用
参考的评估流程代码:
model.eval() test_total_loss = 0 test_correct_count = 0 with torch.no_grad(): for batch_data, batch_label in test_loader: pred = model(batch_data) # 累计计算测试集的损失、预测正确的样本数 test_total_loss += criterion(pred, batch_label).item() test_correct_count += (pred.argmax(dim=1) == batch_label).sum().item()
常见误区提醒
很多人以为把test_dataset单独创建出来就算完成隔离,实际上只要你在训练循环里不小心把test_loader的批次喂给模型做反向传播,就算它名字叫test也会参与训练。真正的隔离本质是两点:数据层面训练/测试样本没有重合、流程层面训练环节完全不触碰测试集数据。
内容的提问来源于stack exchange,提问作者Peter T. Walker
相关产品推荐
相关产品推荐

