Training Accuracy Score与Follow Up Test Accuracy Scores差异原因排查
两类准确率数值存在显著差异的常见原因
需要先明确:accuracy threshold callback触发时输出的Training Accuracy,和你自定义TestFolder()函数跑出的批量准确率,从样本范围、计算口径、推理流程上就不属于同一套衡量体系,根本不是同一套标准下算出来的数值,差异来源主要分为三类:
1. 计算逻辑和样本范围天然不统一
- callback输出的
Training Accuracy,计算对象是参与模型梯度更新的训练集样本,本质是模型对训练数据的拟合效果。受训练过程中的记忆效应影响,这个数值本身就会比独立测试集上的表现偏高,和你单独存放在测试目录的图片上跑出的结果没有可比性。 - 你的
TestFolder()函数是按单类样本目录做准确率统计:比如传入的目录全是标签为0的负样本、设置TestItem=0时,你统计的其实是负样本的分类召回率,而不是包含正负样本的整体分类准确率。单类别的召回率和全样本的整体准确率本身就存在数值差距,计算口径不一致自然对不上数。
2. 自定义推理流程和训练流程不匹配
逐行对照你给出的函数代码,存在多处会导致推理结果偏差的问题:
- 预处理逻辑不一致:Keras训练流程中会对输入图片做标准化操作(比如把像素值从0-255缩放到0-1、按数据集的均值方差做归一化等),但你代码中调用
image.img_to_array(img)后,直接把原始0-255范围的像素数组喂给模型,没有复现和训练时完全一致的预处理步骤,会直接导致模型输出的概率值整体偏移,这是推理准确率和训练报告值差很多的最常见原因。 - 分类阈值不匹配:你代码中用
val=round(val),按默认0.5的切分阈值把模型输出的概率值转成分类结果。但训练流程中计算accuracy时使用的分类阈值不一定是0.5——比如针对不平衡数据集调整过分类阈值、做过模型输出的温度缩放,都会导致你在测试时用0.5切分得到的结果,和训练时的统计值存在偏差。 - 模型状态不匹配:你当前用来推理的模型,不一定是accuracy callback触发时刻(也就是报告0.85准确率的那个epoch)对应的权重。很多人训练完直接用最后一轮训练的权重跑推理,没有加载callback触发时保存的最优权重,模型表现自然和当时的报告值有差距。另外如果模型包含BatchNorm、Dropout这类依赖训练/推理模式的层,没有正确切换到推理模式,会带着训练过程中的临时统计参数跑推理,输出结果会出现随机偏差。
- 目录读取逻辑有漏洞:你用
os.listdir(dir_path)遍历目录时,不会自动过滤非图片文件(比如macOS系统生成的.DS_Store、各类软件生成的缩略图缓存),这类文件被load_img读取后会生成无意义的像素图,直接拉低统计出来的准确率。另外路径拼接时用的dir_path+'//'+i在跨平台场景下还有分隔符兼容问题,可能出现路径错误、读错文件的情况。 - 推理输入的batch设置不合理:你代码中每次循环都通过
np.vstack([X])构造batch大小为1的输入喂给模型,对于带BatchNorm层的模型,单样本输入时的层统计值和训练时指定batch size下的计算结果不同,会进一步带来预测偏差。
3. 其他容易被忽略的细节偏差
- 训练流程计算Training Accuracy时,如果用了带随机增强的图片迭代器,算出来的数值是增强后图片上的拟合效果,和你手动加载的原始无增强图片的推理结果本来就存在天然差距。
- 函数中为了避免除以零,把Wins或Losses的零值替换为0.00001的逻辑,会在某类样本全对/全错时,把本来是1.0或0.0的准确率近似成接近1或0的数值,这类偏差虽然不会造成显著差异,但也是两边数值对不上的常见小原因。
内容的提问来源于stack exchange,提问作者Dana Ng
相关产品推荐
相关产品推荐

