如何在自有数据集上测试计算机视觉ML模型性能及验证效果

测试前必做的准备工作 #

• 先对齐输入规则：自有数据集的预处理逻辑必须和5个基模型预训练时的配置完全一致，包括输入分辨率、归一化均值方差、颜色空间转换规则、缩放补边逻辑，不要随意改预处理流程导致输入分布漂移，测出来的结果没有参考价值。
• 清洗自有测试集：先逐批排查测试集的标注错误、模糊废片、漏标错标样本，剔除无效数据；划分测试集时必须覆盖真实场景下的全维度case：不同光照、拍摄角度、背景、目标尺度、长尾类别样本都要按实际业务出现的比例抽样，不要只挑清晰易识别的样本凑数，避免分数虚高。测试集必须和训练/验证集完全隔离，绝对不能用训练阶段见过的样本凑测试集。
• 先做模型冒烟测试：拿100-200张公开标准数据集的已知样本跑一遍融合模型，确认权重加载正确、融合逻辑（加权投票/logit平均/stacking）没有代码bug，输出结果和公开集上的基准结果对齐后再跑全量测试，避免白忙活。

完整测试执行流程 #

• 基础精度测试：根据任务类型计算全量标准指标：分类任务算Top-1/Top-5准确率、各类别精确率、召回率、F1值、混淆矩阵；检测任务算mAP@0.5、mAP@0.5:0.95、各类别AP、漏检率、误检率；分割任务算mIoU、Dice系数、边界F1。所有指标不要只看整体均值，要按类别、场景维度拆分统计，比如单独算小目标、低光照样本的指标，避免整体分高但核心场景效果差。
• 推理效率测试：和实际部署的硬件对齐，分别测单帧推理延迟、显存/内存占用、吞吐量、批量推理的耗时波动。融合模型需要串行/并行跑5个基模型，很容易出现精度涨1个点但速度慢3倍的情况，效率不达标就算精度再高也没法落地。
• 鲁棒性专项测试：构造带扰动的测试样本验证稳定性：比如给图片加高斯噪声、调整亮度对比度、做适度旋转/裁剪/JPEG压缩、模拟实景遮挡（雨滴、树叶、污渍），统计指标掉点幅度，正常泛化性合格的模型在轻度扰动下掉点不应该超过10%。
• 对比基准测试：同一份测试集上，分别跑5个单基模型、你训练的融合模型、同任务通用的开源基准模型，对比效果差异；融合模型至少要比最优单基模型在核心指标上有2%以上的稳定提升才算融合有效，建议跑3次不同随机种子的测试，分数方差过大说明模型稳定性不足。

落地最佳实践 #

• 全流程版本留痕：所有测试环节的数据集版本、模型权重版本、预处理配置、测试脚本、输出结果都要归档留存，不要改完参数就找不到之前的测试记录，哪怕用简单的csv表格登记也行。
• 错例全量复盘：把所有预测错误的样本全部导出，人工逐张归类错误原因：是标注错误、样本质量太差、模型没见过这类特征、还是融合权重分配不合理把结果带偏，不要只看分数不看错例——很多时候整体指标看着达标，错的全是业务核心场景的致命样本，根本没法上线。
• 动态数据流验证：静态测试集跑完不要急着下结论，抽真实场景下的连续数据流（比如监控摄像头1-2小时的实拍视频、用户连续一周上传的真实图片）跑一遍推理，统计真实动态场景下的指标，静态测试集覆盖不了镜头抖动、目标快速移动、镜头污损这类动态问题。
• 置信度阈值校准：不要用预训练阶段默认的0.5置信度阈值，根据业务要求在自有验证集上重新调阈值：比如业务要求漏检率必须低于1%，就把阈值调到满足漏检率要求的位置，再统计对应精确率，默认阈值跑出来的结果没有实际落地参考价值。

标准指标之外的效果校验方法 #

• 特征分布可视化：抽取模型最后一层输出的特征向量，用t-SNE/UMAP降维到2维可视化，观察相同类别的样本是不是聚成紧密的簇，不同类别边界是不是清晰。如果不同类别的特征大量混杂，就算指标看着高，也说明模型学到的特征区分度不够，遇到新样本很容易分错。
• 置信度分布校验：分别统计预测正确、预测错误样本的置信度分布：正常合格的模型，预测正确的样本置信度应该集中在0.8-1.0的高区间，预测错误的样本置信度应该集中在0-0.5的低区间。如果大量错分样本的置信度高于0.9，说明模型过度自信、概率校准差，实际使用时出现错误也没法触发预警。
• 致命错误率统计：整理业务场景下零容忍的错误类型（比如自动驾驶把行人识别成路牌、内容审核把违规内容判为正常），单独构造这类极端case的测试集，统计致命错误的发生率。哪怕整体准确率99%，只要致命错误率超过业务容忍阈值，就不算达标。
• 鲁棒性边界探测：逐步加大扰动强度（比如亮度从正常值逐步调到全黑/全白、遮挡面积从0%逐步加到50%），记录模型预测从正确变错误的临界点，确认临界点满足业务最低要求——比如夜间监控要求0.1lux照度下识别准确，就测到0.1lux时的准确率，不要只测正常光照下的指标。
• 可解释性校验：用Grad-CAM工具可视化模型的注意力区域，确认模型判断时关注的是目标本身的核心特征，而不是背景里的无关元素（比如分类猫狗时关注草坪、沙发而不是动物本身）。如果注意力大量落在无关区域，说明模型是靠数据集里的虚假关联做判断，换个场景效果就会跳水。

学习参考方向 #

• 可以找机器学习系统工程测试的通用规范、计算机视觉模型融合泛化性相关的顶会论文、工业界CV模型落地实操的公开教程学习，优先看讲工程落地测试流程的内容，不要只看算法刷分的理论内容。

内容的提问来源于stack exchange，提问作者Umang Shukla