使用captureHighResolutionFrame获取的HD ARFrame与currentFrame视野不一致问题

问题现象 #

• 通过ARSession.captureHighResolutionFrame()结合capturedImage获取的HD图像，与ARFrame.currentFrame生成的图像边界不匹配，HD图像视野更小
• 两者视觉差异：（上方为高分辨率捕获图像，下方为currentFrame图像，上下区域的裁剪区别清晰可见）
• 实际影响：无法完整捕获预览内容，且从真实世界坐标转换得到的锚点会出现偏移
• 设备兼容性：仅部分设备存在该问题，可在iPhone 12 mini复现，iPhone 8 Plus、iPhone 15 Pro无此现象

核心原因 #

这种差异源于高分辨率帧与普通预览帧的相机配置逻辑不一致，具体包括：

1. 传感器裁剪策略不同：部分设备（如iPhone 12 mini）的高分辨率捕获采用传感器中心裁剪模式，优先保证像素精度；而currentFrame为适配AR实时预览的帧率和跟踪稳定性，使用的是传感器全视场或特定缩放区域，导致两者视野范围不一致。
2. 相机格式视场角差异：captureHighResolutionFrame()会切换到支持高分辨率的相机格式，该格式的视场角（FOV）与AR预览默认格式不同。iPhone 12 mini的后置摄像头在高分辨率模式下的视场角更小，而iPhone 8 Plus、15 Pro的硬件或ARKit适配逻辑使得两种模式的视场角保持统一。
3. 机型定制化适配差异：ARKit针对不同机型的硬件做了定制优化，新机型（如15 Pro）和部分旧机型（如8 Plus）完成了高分辨率帧与预览帧的参数对齐，而iPhone 12 mini的适配逻辑未同步处理，导致视野偏差。

实用解决方向 #

• 锚点坐标对齐：利用ARCamera的intrinsics和imageResolution参数，手动计算高分辨率帧与预览帧的坐标转换矩阵，将真实世界锚点映射到HD图像的正确位置。
• 完整视野高分辨率捕获：绕过ARSession.captureHighResolutionFrame()，直接通过AVCaptureSession捕获相机原生高分辨率帧，再结合ARKit的跟踪数据做坐标对齐，保证视野完整性。

内容的提问来源于stack exchange，提问作者mkko