自定义PyTorch OCR模型训练与测试预测不一致问题求助

核心问题梳理 #

• 训练阶段：模型在训练集上表现极佳，损失持续下降
• 测试阶段：预测结果不稳定，置信分数波动明显，出现意外错误（如字符"0"被误判为"G"）
• 已知代码问题：测试方法误传入训练集路径

一、优先修复测试路径错误 #

• 立即修正test方法的数据集路径，确保测试时加载独立的测试集，而非训练集。错误的路径会导致你误判模型泛化能力，必须先排除这个干扰项。
• 验证测试集有效性：确认测试集包含目标类别（如"0"）的样本，且样本分布与训练集匹配，无类别缺失或样本量过少的情况。

二、排查过拟合问题 #

训练集表现优异但测试拉胯，最常见原因是过拟合：

• 检查数据集划分：确保训练/测试集是随机划分的，比例合理（通常10%-20%作为测试集），无数据泄露（测试样本未出现在训练集中）。
• 添加正则化：
  • 在模型的全连接层或卷积层插入Dropout层，例：nn.Dropout(0.5)，降低模型对训练数据的依赖。
  • 优化器中启用L2正则化，设置weight_decay参数，例：optimizer = torch.optim.Adam(model.parameters(), lr=1e-3, weight_decay=1e-4)。
• 增强训练数据多样性：对字符图片做随机变换，如±10°旋转、小范围平移、缩放、轻微模糊、噪声添加，提升模型泛化能力。示例预处理代码：

  from torchvision import transforms
  train_transform = transforms.Compose([
      transforms.RandomRotation(10),
      transforms.RandomAffine(0, translate=(0.1, 0.1)),
      transforms.ToTensor(),
      transforms.Normalize(mean=[0.5], std=[0.5])
  ])
  

三、验证数据与预处理一致性 #

• 检查训练集标签：确认"0"类样本的标注无错误（如误标为"G"），无跨类别样本混入。
• 对齐测试与训练的预处理流程：测试时的图片尺寸、归一化参数、灰度化等操作必须和训练时完全一致。例如训练用了transforms.Normalize(mean=[0.5], std=[0.5])，测试时必须复用相同的均值和标准差，否则输入分布不一致会导致预测异常。

四、确保模型处于评估模式 #

测试时必须切换模型到评估模式，关闭Dropout和BatchNorm的训练行为：

model.eval()
with torch.no_grad():
    # 执行预测逻辑
    outputs = model(test_input)
    # 计算置信度、预测类别

若忘记调用model.eval()，模型会保持训练模式，Dropout随机丢弃神经元，直接导致预测结果不稳定、置信度波动。

五、分析置信度波动与错误预测 #

• 统计测试集类别置信度分布：若"0"类的平均置信度远低于其他类别，说明模型对该类学习不充分。可增加"0"类样本的多样性，或在损失函数中设置类别权重（如class_weights）解决类别不平衡问题。
• 可视化错误样本：对比被误判为"G"的"0"样本与"G"类训练样本，观察字体、笔画等视觉特征的相似性，针对性优化数据增强或模型的特征提取模块。

内容的提问来源于stack exchange，提问作者user20983853