You need to enable JavaScript to run this app. PyTorch中配置自定义CSV测试集不参与训练用于准确率评估的方法
优惠活动
大模型
产品
解决方案
定价
更多

PyTorch中配置自定义CSV测试集不参与训练用于准确率评估的方法

自定义CSV数据集的训练/测试集隔离配置

你当前代码的核心问题不是test_dataset会不会被意外带入训练流程,而是两个数据集实例都加载了同一份全量heart.csv数据,根本没有做训练/测试的数据拆分——就算流程上完全不混用两边的数据,评估样本和训练样本完全重合的结果,也会严重虚高,失去基准参考价值。

按照下面的步骤配置,可以从数据层、流程层双重隔离,让测试集完全不参与梯度更新流程,作为独立的评估基准:

1. 从物理层拆分全量CSV数据

不需要修改你写好的MyDataset类,直接用PyTorch内置的random_split工具,把加载的全量数据集按比例拆成互不重合的训练子集和测试子集:

from torch.utils.data import random_split
# 先加载完整的原始CSV数据集
full_dataset = MyDataset("heart.csv", input_size)
# 按8:2的比例拆分(可根据数据量、任务需求调整拆分比例)
train_size = int(0.8 * len(full_dataset))
test_size = len(full_dataset) - train_size
# 拆分得到两个独立的子集,两者持有的样本索引完全不重合,没有数据重叠
train_subset, test_subset = random_split(full_dataset, [train_size, test_size])
# 分别给两个子集初始化数据加载器
# 训练加载器保留shuffle打散样本顺序,测试加载器不需要打乱顺序
train_loader = DataLoader(train_subset, batch_size=batch_size, shuffle=True)
test_loader = DataLoader(test_subset, batch_size=batch_size, shuffle=False)

如果需要固定拆分结果方便实验复现,可以在拆分前设置固定随机种子:

torch.manual_seed(42)

如果你的CSV文件本身已经提前划分好训练/测试的样本标记,也可以在MyDataset的初始化里增加过滤逻辑,直接加载对应类别的样本,不需要额外拆分。

2. 从流程层严格隔离训练和评估逻辑

PyTorch本身不会主动判断数据是训练集还是测试集,只要你不在训练环节把测试数据送进模型做梯度更新,测试集就永远不会参与训练过程。需要严格遵守两个流程规则:

  • 训练循环里只遍历train_loader的批次:所有前向计算、损失计算、反向传播、参数更新的操作,全程不调用test_loader取数,保证梯度计算的数据源仅来自训练集
  • 评估阶段严格关闭训练态逻辑:
    1. 调用model.eval()把模型切换到评估模式,关闭Dropout、BatchNorm等仅在训练阶段生效的层逻辑
    2. 用torch.no_grad()包裹整个评估流程,关闭梯度计算——就算对测试数据做前向传播,也不会产生任何可用于参数更新的梯度

参考的评估流程代码:

model.eval()
test_total_loss = 0
test_correct_count = 0
with torch.no_grad():
    for batch_data, batch_label in test_loader:
        pred = model(batch_data)
        # 累计计算测试集的损失、预测正确的样本数
        test_total_loss += criterion(pred, batch_label).item()
        test_correct_count += (pred.argmax(dim=1) == batch_label).sum().item()

常见误区提醒

很多人以为把test_dataset单独创建出来就算完成隔离,实际上只要你在训练循环里不小心把test_loader的批次喂给模型做反向传播,就算它名字叫test也会参与训练。真正的隔离本质是两点:数据层面训练/测试样本没有重合、流程层面训练环节完全不触碰测试集数据。


内容的提问来源于stack exchange,提问作者Peter T. Walker

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.23 02:15:03