Azure Custom Vision门户与Python SDK混淆矩阵指标差异原因咨询

针对你遇到的SDK与Vision Portal间混淆矩阵指标、预测概率不一致的问题，常见原因如下：

• 数据同步延迟：训练完成后，迭代的评估指标需要时间同步到所有后台存储节点。即使你同步操作Portal，SDK调用和Portal读取的可能不是同一时间点的最终计算结果，短暂延迟会导致指标偏差。
• 指标计算逻辑的细微差异：
  • 混淆矩阵计算中，SDK和Portal对“真阳性”的判定可能存在精度差异，比如边界框重叠度的浮点位数取舍、小目标/模糊标注的处理规则不同，最终导致矩阵数值不一致。
  • 预测概率方面，SDK返回的是模型原始输出的概率值，而Portal会对结果做格式化或四舍五入显示，造成视觉上的细微差异。
• API版本不匹配：检查Python SDK的版本与Portal后台使用的API版本是否一致。不同版本的API在指标计算、概率输出的处理逻辑上可能有更新，引发结果偏差。
• 测试图像预处理差异：
  • 快速测试时，SDK上传图像的预处理（如分辨率压缩、格式转换）逻辑可能和Portal不完全一致，影响模型预测输出。
  • 需确保SDK和Portal使用的是完全相同的测试图像文件，避免图像编码、元数据差异导致结果不同。
• 迭代的隐性后处理：训练完成后的迭代，后台可能会进行模型量化、校准等优化操作，这个过程中指标会有微小调整。SDK和Portal若在不同时间点获取迭代状态，就会得到不同结果。

内容的提问来源于stack exchange，提问作者rishi