如何让Google Vision API仅识别实时人脸，排除视频帧中的人脸？

针对你用Google Vision API时误把视频里的人脸当成真实人脸的问题，给你几个实用的解决思路：

• 利用深度传感器区分3D/平面人脸
  真实人脸是立体的，视频里的人脸是平面图像。如果你的设备有深度摄像头（比如iPhone的TrueDepth、安卓的TOF摄像头），可以结合深度数据来判断：真实人脸的深度值会有自然的起伏（比如额头、鼻梁、脸颊的深度差），而视频里的人脸深度值几乎是均匀的。你可以在调用Vision API检测到人脸后，同步获取该区域的深度数据，设置阈值过滤掉平面的视频人脸。

• 追踪面部运动的自然连贯性
  视频里的眨眼动作就算做得逼真，也很难还原真实人脸运动的细节连贯性。比如真实人脸眨眼时，眼周肌肉会有细微的收缩、眉毛可能会轻微下垂，而且头部姿态、面部表情的变化是连续平滑的；视频里的人脸运动是逐帧播放的，可能会出现帧间跳跃，或者肌肉联动不自然的情况。你可以连续追踪多帧的人脸关键点（比如Vision API返回的面部特征点），计算运动轨迹的平滑度，过滤掉不符合真实生物运动规律的目标。

• 检测环境光与面部光影的匹配度
  屏幕播放的视频有自己的光源特性，真实人脸的光影会和周围环境光保持一致。比如你可以分析人脸区域的亮度分布：真实人脸的光影会随环境光变化，有自然的明暗过渡；视频里的人脸亮度通常更均匀，或者有屏幕特有的反光（比如右上角的屏幕光斑）。另外还可以结合设备的环境光传感器数据，对比人脸区域的光线是否和环境光匹配。

• 先识别屏幕区域再排除
  如果视频是在电子屏幕上播放的，可以先检测画面中的屏幕边框（比如寻找矩形轮廓、识别屏幕的反光特征），把屏幕区域标记为“非检测区”，这样Vision API就不会对这个区域内的人脸触发捕获。不过这个方法只适用于视频在实体屏幕上的场景，投影的情况可能不适用。

内容的提问来源于stack exchange，提问作者Julie