Android应用眼球追踪功能实现咨询：ML新手求技术指导

1. MediaPipe Face Mesh #

• 谷歌开源的计算机视觉库，自带预训练的面部关键点检测模型，包含虹膜、瞳孔等眼球相关的关键点。
• 核心逻辑：通过计算虹膜中心在眼部区域内的位置，判断是否直视——当虹膜中心处于眼部区域中心范围时，即可判定为直视摄像头。
• 适配CameraX：把CameraX获取的预览帧（YUV格式）转换成MediaPipe支持的输入格式（如Bitmap），传入Face Mesh处理器，提取关键点后做几何计算即可。无需自行训练模型，开箱即用，适合入门开发者。

2. TensorFlow Lite 预训练眼球追踪模型 #

• 可以直接使用TensorFlow Lite生态中的预训练虹膜检测或视线方向模型。
• 实现步骤：
  • 用CameraX的ImageAnalysis组件获取前置摄像头实时预览帧；
  • 对帧数据做预处理（缩放、归一化等），匹配模型输入要求；
  • 输入TFLite模型后解析输出的眼球关键点，通过计算偏移量判断视线是否朝向摄像头。
• 优势是轻量高效，适配移动端，能和CameraX的帧处理流程无缝结合。

3. Dlib for Android #

• Dlib提供预训练的68点面部关键点检测器，其中第36-47点对应眼部轮廓及相关关键点。
• 通过分析瞳孔相对于眼部轮廓的位置偏移，判断视线方向。
• 注意：Dlib的库体积相对较大，需要考虑APK包大小的影响，但作为功能验证的入门方案完全可行。

适配CameraX的通用流程 #

• 配置CameraX的ImageAnalysis组件，设置合适的分辨率和帧率，获取实时预览帧；
• 将YUV格式的帧数据转换成对应库支持的输入格式（如Bitmap）；
• 调用库的检测接口提取眼球关键点，通过几何计算（如虹膜中心与眼部中心的偏移阈值）判断是否直视摄像头。

内容的提问来源于stack exchange，提问作者Saurabh Somani