MLKit中实现Holistic跟踪的方法及官方相关规划问询

ML Kit Holistic Detection 相关问题解答 #

1. 官方落地计划 #

截至目前，ML Kit官方未对外公开Holistic Detection（人脸+姿态+手部一体化检测）功能的上线规划，当前人脸、姿态、手部检测仍以独立API的形式提供维护。

2. 多检测结果高效叠加方案 #

现有方案可以实现低误差、高性能的三类检测结果叠加，核心操作流程如下：

• 统一输入基准：所有检测必须基于同一帧原始输入图像，统一使用0~1范围的归一化相对坐标存储所有关键点结果，不要直接使用像素坐标，避免不同分辨率、图像旋转裁剪导致的结果偏移。
• ROI裁剪提升检测效率：
  姿态检测返回的33个关键点已包含人脸、手部的锚点信息：0号点为鼻子、15/16号点为左右手腕，可直接基于这些锚点裁剪对应ROI区域送入人脸、手部检测API：
  • 人脸检测仅需裁剪鼻子周围2倍脸宽的区域，不需要全图检测
  • 手部检测仅需裁剪手腕周围1.5~2倍手掌大小的区域
    该优化可将整体检测速度提升3~5倍，同时大幅降低误检率。
• 结果合并渲染：将三类检测的归一化坐标统一映射到当前渲染视图的像素坐标，坐标映射逻辑参考：renderX = normalizedX * 渲染视图宽度、renderY = normalizedY * 渲染视图高度，之后按照ML Kit返回的关键点z轴深度（数值越小越靠近摄像头）分层绘制即可。同一帧输入下叠加误差不超过2像素，常规交互、动捕场景完全可以满足需求。
• 实时场景优化技巧：如果是实时视频流检测，可以将三类检测的推理帧率错开，比如姿态每2帧推理1次，人脸、手部每4帧推理1次，中间帧的关键点位置用线性插值补全，性能提升非常明显，肉眼几乎感知不到延迟。

内容的提问来源于stack exchange，提问作者Baloo