Hololens前置摄像头图像获取眼球位置的技术方案问询

针对现有方法的优化 #

方法一（凝视射线与视口交点）的修正 #

• 利用Hololens官方坐标转换API统一坐标系：将FOV摄像头输出的GazeOrigin和GazeDirection通过SpatialCoordinateSystem转换到前置摄像头的空间坐标系中，避免手动计算内外参带来的误差。例如在Unity中，可通过WorldManager.GetNativeISpatialCoordinateSystemPtr()获取空间坐标系统，调用转换方法完成射线的空间映射。
• 添加用户校准步骤：让用户注视前置摄像头视野内3-5个已知位置的标记点，记录每一组凝视数据与标记点的偏差，拟合出修正矩阵，后续计算时用该矩阵抵消设备内外参的固有差异。

方法二（Spatial Mapping网格交点）的优化 #

• 结合实时动态物体检测：集成Hololens内置的ObjectDetection模块或轻量型AI模型（如TensorFlow Lite的物体检测模型），实时识别前置画面中的人类、书本等动态物体，获取其3D边界框。计算凝视射线与这些边界框的交点，优先将该点作为注视目标（优先级高于Spatial Mapping网格交点）。
• 引入深度摄像头数据：利用Hololens的深度摄像头获取实时深度图，将凝视射线对应的前置摄像头像素点的深度值转换为3D坐标。该方法无需依赖Spatial Mapping，能直接获取动态物体表面的注视点位置。

替代方案 #

基于Hololens Eye Tracking API的直接对齐 #

• 直接调用Hololens的眼球追踪API获取GazePoint.WorldPosition，这是用户凝视点的真实世界3D坐标。通过前置摄像头的投影矩阵，将该3D点转换为前置画面中的2D像素坐标，即可直接对应到图像中的注视区域，进而识别目标物体。关键是完成一次简单的启动校准：让用户注视前置画面中的几个校准点，确保眼球追踪坐标系与前置摄像头坐标系的对齐精度。
• 多帧凝视数据融合：对连续5-10帧的凝视点3D坐标做加权平均，过滤动态物体运动带来的抖动，提升注视点的稳定性与准确性。

实例分割辅助的精准定位 #

• 部署轻量型实例分割模型（如MobileNet-SSD变体）到Hololens，实时分割前置画面中每个动态物体的像素区域。将凝视点的2D像素坐标与分割结果做匹配，直接判断用户注视的具体物体，无需依赖3D交点计算。

内容的提问来源于stack exchange，提问作者user22087954