Unity中基于RenderTexture与MediaCapture实现HoloLens投屏的对齐问题

• 相机参数不匹配：辅助相机的视场角（FOV）、近/远裁剪面、投影矩阵未与HoloLens物理相机的参数校准。HoloLens的物理相机有固定的硬件内参（如焦距、传感器尺寸），如果辅助相机直接复用主相机的默认参数，两者的透视关系会存在差异，导致全息图在物理画面上的投影位置偏移。

• 空间坐标系未对齐：即使辅助相机是主相机的子对象，Unity的虚拟空间坐标系与HoloLens物理相机的真实世界坐标系可能存在偏差。比如物理相机的安装位置与HoloLens的头部追踪原点存在微小偏移，或是辅助相机的局部位姿（localPosition/localRotation）未完全与物理相机重合，都会造成画面错位。

• 图像缩放处理不当：将1280x720的MediaCapture画面缩放到640x360时，若采用了非等比例缩放（需确认是否存在裁切）、不合适的插值算法（如邻近插值导致画面偏移），或是未考虑物理相机画面的镜头畸变校正数据，会导致缩放后的物理画面内容与全息图的视角不匹配。

• 时间同步误差：RenderTexture快照的生成时间与MediaCapture获取画面的时间存在间隔，HoloLens的头部（主相机）在这段时间内发生了移动，导致两张画面的拍摄视角不一致，合并后自然出现错位。

• 投影矩阵未校准：Unity相机的投影矩阵是基于虚拟传感器参数计算的，而HoloLens物理相机的内参（主点偏移、焦距）需要手动导入并设置到辅助相机的投影矩阵中，否则会导致全息图的透视投影与物理画面的真实透视不匹配，引发位置偏移。

内容的提问来源于stack exchange，提问作者Jack Johny