iOS Vision中VNDetectFaceLandmarksRequest与VNDetectFaceRectanglesRequest的区别
VNDetectFaceRectanglesRequest 与 VNDetectFaceLandmarksRequest 技术差异说明
底层实现逻辑的本质区别
VNDetectFaceRectanglesRequest是单阶段轻量化人脸检测任务:底层仅调用人脸矩形定位模型,推理目标是快速筛选图像中符合通用人脸特征的候选区域,全流程不加载人脸关键点定位的模型权重,从设计逻辑上就不会执行关键点检测步骤,因此该请求返回的所有VNFaceObservation对象的landmarks属性恒为nil,仅能输出边界框、人脸朝向角度等基础属性。VNDetectFaceLandmarksRequest是两阶段级联检测任务:第一阶段完全复用VNDetectFaceRectanglesRequest的同套人脸候选区域检测能力,先定位所有符合要求的人脸边界框;第二阶段会对第一阶段输出的每个人脸区域做人脸对齐校正,再加载关键点定位模型推理输出五官轮廓、坐标点,最终将边界框结果与关键点结果绑定为单个VNFaceObservation返回。
两类请求的检测结果差异场景
- 绝大多数常规使用场景下,两类请求能检测到的人脸范围完全重叠——因为landmark请求的第一阶段人脸定位逻辑与rectangle请求同源,不存在其中一类能稳定检测到、另一类完全识别不出的场景。
- 少数特殊场景下会出现检测结果偏差:当某张人脸的姿态过于倾斜、模糊到关键点完全无法有效定位时,部分iOS版本下landmark请求会直接将该人脸从最终结果中过滤,避免输出无意义的无效观察值;但
VNDetectFaceRectanglesRequest因为不执行后续的关键点有效性校验,只要人脸能匹配上矩形检测特征,哪怕变形严重、姿态极端,也会正常返回边界框结果。这种场景下会出现rectangle请求能检测到人脸、landmark请求反而漏检的情况。
性能与可靠性的优劣势对比
landmark请求并非在所有场景下都优于rectangle请求,二者的适用场景差异非常明确:
- 运行性能差异:
VNDetectFaceRectanglesRequest仅跑单阶段检测,算力开销约为landmark请求的30%40%,在实时视频流逐帧检测场景下(比如摄像头预览的人脸检测),rectangle请求的推理延迟更低、帧率更稳定、功耗更小,哪怕是低端iOS设备也能稳定跑满30fps的检测效果;而landmark请求因为多了第二阶段的关键点推理,延迟通常是前者的23倍,高分辨率视频帧下容易出现掉帧。 - 检测可靠性差异:
- 对于清晰正脸,两类请求输出的边界框精度没有明显差异
- 对于极端姿态、低清晰度的人脸,
VNDetectFaceRectanglesRequest的召回率更高——不会因为后续关键点定位失败就丢弃已检测到的人脸结果,更适合需要稳定判断人脸存在性的场景,比如人数统计、区域入侵检测类功能。 - 需要输出人脸关键点的场景下,landmark请求的结果一致性更好——它返回的边界框是经过关键点对齐校正后的,比rectangle请求输出的原始边界框更贴合人脸实际范围,不会出现人脸倾斜时边界框大幅偏移的问题,更适合AR贴纸、人脸美化类需求。
关于你提供的示例代码的补充:
- 在同一次
VNImageRequestHandler.perform调用中同时发起两个请求是系统推荐的优化用法,系统会自动复用第一阶段人脸定位的中间结果,不会重复执行推理流程,相比分开两次单独发起请求能减少近一半的算力开销。- 示例代码中的
as? [VNFaceObservation]强制类型转换,在iOS 15及以上版本已经不需要了——系统已经把请求的results属性做了泛型约束,直接读取就可以拿到对应类型的结果,强制转换反而可能在后续系统版本升级时出现兼容问题。- 示例代码中注释标注
boundingBox是可选类型其实是不准确的:只要成功返回了VNFaceObservation对象,它的boundingBox属性就是非可选的CGRect值,只有landmarks、人脸朝向角度这些属性是可选的,会根据请求类型和检测场景决定是否有值。
内容的提问来源于stack exchange,提问作者Pasow
相关产品推荐
相关产品推荐

