You need to enable JavaScript to run this app. Training Accuracy Score与Follow Up Test Accuracy Scores差异原因排查
优惠活动
大模型
产品
解决方案
定价
更多

Training Accuracy Score与Follow Up Test Accuracy Scores差异原因排查

两类准确率数值存在显著差异的常见原因

需要先明确:accuracy threshold callback触发时输出的Training Accuracy,和你自定义TestFolder()函数跑出的批量准确率,从样本范围、计算口径、推理流程上就不属于同一套衡量体系,根本不是同一套标准下算出来的数值,差异来源主要分为三类:

1. 计算逻辑和样本范围天然不统一

  • callback输出的Training Accuracy,计算对象是参与模型梯度更新的训练集样本,本质是模型对训练数据的拟合效果。受训练过程中的记忆效应影响,这个数值本身就会比独立测试集上的表现偏高,和你单独存放在测试目录的图片上跑出的结果没有可比性。
  • 你的TestFolder()函数是按单类样本目录做准确率统计:比如传入的目录全是标签为0的负样本、设置TestItem=0时,你统计的其实是负样本的分类召回率,而不是包含正负样本的整体分类准确率。单类别的召回率和全样本的整体准确率本身就存在数值差距,计算口径不一致自然对不上数。

2. 自定义推理流程和训练流程不匹配

逐行对照你给出的函数代码,存在多处会导致推理结果偏差的问题:

  • 预处理逻辑不一致:Keras训练流程中会对输入图片做标准化操作(比如把像素值从0-255缩放到0-1、按数据集的均值方差做归一化等),但你代码中调用image.img_to_array(img)后,直接把原始0-255范围的像素数组喂给模型,没有复现和训练时完全一致的预处理步骤,会直接导致模型输出的概率值整体偏移,这是推理准确率和训练报告值差很多的最常见原因。
  • 分类阈值不匹配:你代码中用val=round(val),按默认0.5的切分阈值把模型输出的概率值转成分类结果。但训练流程中计算accuracy时使用的分类阈值不一定是0.5——比如针对不平衡数据集调整过分类阈值、做过模型输出的温度缩放,都会导致你在测试时用0.5切分得到的结果,和训练时的统计值存在偏差。
  • 模型状态不匹配:你当前用来推理的模型,不一定是accuracy callback触发时刻(也就是报告0.85准确率的那个epoch)对应的权重。很多人训练完直接用最后一轮训练的权重跑推理,没有加载callback触发时保存的最优权重,模型表现自然和当时的报告值有差距。另外如果模型包含BatchNorm、Dropout这类依赖训练/推理模式的层,没有正确切换到推理模式,会带着训练过程中的临时统计参数跑推理,输出结果会出现随机偏差。
  • 目录读取逻辑有漏洞:你用os.listdir(dir_path)遍历目录时,不会自动过滤非图片文件(比如macOS系统生成的.DS_Store、各类软件生成的缩略图缓存),这类文件被load_img读取后会生成无意义的像素图,直接拉低统计出来的准确率。另外路径拼接时用的dir_path+'//'+i在跨平台场景下还有分隔符兼容问题,可能出现路径错误、读错文件的情况。
  • 推理输入的batch设置不合理:你代码中每次循环都通过np.vstack([X])构造batch大小为1的输入喂给模型,对于带BatchNorm层的模型,单样本输入时的层统计值和训练时指定batch size下的计算结果不同,会进一步带来预测偏差。

3. 其他容易被忽略的细节偏差

  • 训练流程计算Training Accuracy时,如果用了带随机增强的图片迭代器,算出来的数值是增强后图片上的拟合效果,和你手动加载的原始无增强图片的推理结果本来就存在天然差距。
  • 函数中为了避免除以零,把Wins或Losses的零值替换为0.00001的逻辑,会在某类样本全对/全错时,把本来是1.0或0.0的准确率近似成接近1或0的数值,这类偏差虽然不会造成显著差异,但也是两边数值对不上的常见小原因。

内容的提问来源于stack exchange,提问作者Dana Ng

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.12 17:15:07