如何提升Azure Custom Vision在人脸识别POC中的准确率？

针对你在Azure Custom Vision上开展特定人员识别POC时遇到的问题——明明已经用了400张带0°/90°/180°/270°旋转增强的样本训练模型，还尝试了目标检测+手动标注bounding box，但预测新照片时错误标签的置信度反而比正确标签高，我整理了几个实战中有效的优化方向：

• 排查样本的场景覆盖度：400张的数量看似足够，但要确认这些样本是否覆盖了目标人员的真实场景变化——比如不同光照（室内暖光/室外强光/弱光环境）、不同表情（自然/微笑/皱眉）、不同遮挡（戴眼镜/口罩/帽子）、不同拍摄距离（近景/远景）。旋转增强只是解决了角度问题，这些维度的缺失会让模型对“陌生场景”的泛化能力极差，反而容易把相似特征误判成目标。
• 清理标注错误与冗余数据：手动过一遍训练集，揪出那些标注错误的样本（比如把A的照片标成了B），或者重复度极高的连续帧照片。这类脏数据会严重干扰模型学习正确的人脸特征，是置信度反转的常见诱因。
• 平衡数据集类别权重：如果目标人员的样本数量和其他干扰类别的样本差距过大，模型会天然倾向于预测样本多的类别。比如如果无关人员的样本远多于目标，哪怕特征不匹配，模型也会给出高置信度。你可以在Azure Custom Vision里调整类别的权重，或者补充目标类别的样本，让各类别数量相对均衡。

• 扩展增强维度：别只局限于旋转，试试这些更贴合人脸场景的增强方式：
  • 随机裁剪：模拟不同拍摄构图和距离，让模型聚焦人脸核心特征
  • 亮度/对比度随机调整：覆盖不同光照环境的情况
  • 高斯模糊：模拟模糊拍摄的场景，提升模型对不清晰人脸的识别能力
  • 水平翻转：人脸左右翻转是真实场景中常见的，能补充样本多样性（注意标注要对应调整）
• 筛选合理的增强角度：180°旋转的人脸在真实场景中极少出现，反而可能让模型学习到错误的特征（比如倒置的五官）。可以减少这类极端角度的增强比例，或者只保留0°、90°、270°里更符合实际拍摄的角度。

• 启用增强训练并调整迭代次数：Azure Custom Vision的默认训练迭代次数可能不足，或者容易过拟合。你可以开启「Enhanced Training」选项，它会采用更复杂的训练策略提升泛化能力；同时尝试增加训练迭代次数，观察模型性能变化。
• 考虑切换到人脸专属服务：Custom Vision是通用的图像识别平台，如果你做的是特定人员的人脸识别，不妨试试Azure Face API——它是专门针对人脸任务优化的，在人脸特征提取、匹配上的效果会比通用模型更精准。
• 临时调整置信度阈值：虽然这不能从根源解决问题，但可以先调整预测的置信度阈值，过滤掉低置信度的结果；或者在预测时返回前2-3个高置信度结果，再通过逻辑做二次验证。

• 精准标注人脸Bounding Box：确保标注的bbox只框住人脸区域，不要包含过多背景。如果bbox过大，模型会把背景特征（比如特定的衣服、墙面）和目标人脸绑定，新照片没有这些背景时就会认错。
• 补充负样本标注：除了标注目标人员的人脸，还要专门标注非目标人员的人脸为「其他」类别（或者负样本），让模型明确区分“目标”和“非目标”的特征。如果训练集里只有目标样本，模型会把任何人脸都往目标类别上匹配，自然容易出现误判。

• 收集多样化测试样本：找更多不同场景的测试照片，尤其是容易和目标人员混淆的相似人员照片，分析模型的错误案例——看看模型到底把哪些特征（比如发型、眼镜、衣服）当成了目标的特征，然后针对性补充训练样本覆盖这些混淆场景。
• 用模型解释工具定位问题：Azure Custom Vision提供了模型解释功能，能查看模型预测时关注的图像区域。如果模型关注的是背景而非人脸，那说明标注或训练方向有问题，需要及时调整。

内容的提问来源于stack exchange，提问作者Eduardo Fonseca