Android实时屏幕视线检测咨询：定位注视点与Widget识别

核心技术路径 #

1. 基于前置摄像头的眼动追踪（最可行方案） #

Android无原生眼动传感器，需依赖前置摄像头结合计算机视觉算法实现：

• 实时捕捉面部图像，定位瞳孔/虹膜位置，通过几何计算映射到屏幕坐标，得到注视点。
• 计算注视区域时长：记录每个区域的进入/离开时间戳，差值即为停留时长。
• 识别注视Widget：将屏幕坐标转换为View层级，通过ViewGroup的findViewAtPosition(x, y)方法遍历视图树，找到坐标对应的Widget后，用instanceof TextView这类判断确定其类型。

2. 系统辅助能力补充 #

• 借助AccessibilityService获取当前界面的View结构，配合注视坐标快速定位目标Widget，避免重复遍历视图树。
• 针对高刷新率屏幕，用SurfaceView或TextureView处理摄像头流，降低延迟保证实时性。

3. 关键注意事项 #

• 权限要求：必须申请CAMERA权限，部分机型需额外申请ACCESSIBILITY_SERVICE权限用于获取View结构。
• 性能优化：采用轻量化眼动追踪模型（如本地运行的MediaPipe Face Mesh组件），减少CPU/GPU占用。
• 精度校准：受光线、摄像头分辨率、用户姿势影响，需加入校准步骤（让用户注视屏幕上几个已知点，建立坐标映射）。

关于Android传感器的说明 #

Android原生传感器（如加速度计、陀螺仪）无法实现注视检测，这类传感器仅能捕捉设备运动，无法获取用户眼部信息，必须依赖视觉方案。

内容的提问来源于stack exchange，提问作者Bills