ARFaceTrackingConfiguration下深度图与RGB图像不对齐问题
ARFaceTrackingConfiguration下深度图与RGB图偏移问题排查
- 未应用硬件视差对应的外参对齐变换
该配置下的RGB数据来自设备广角主摄模组,深度数据来自原深感红外模组,两个硬件物理位置不重合,从硬件层就存在天然视差偏移。系统不会在输出的ARFrame中自动对两路数据做像素级对齐,你当前代码直接提取原始capturedImage和capturedDepthData的像素值,完全没有应用AVCameraCalibrationData提供的两模组间外参矩阵做坐标变换,是偏移的核心来源。 - 像素方向未统一导致错位叠加
两路数据的原生像素缓冲区方向存在固定差异:frame.capturedImage的原生方向为左向横置,而frame.capturedDepthData的原生深度图为正立方向。你直接将两个原始缓冲区转存为PNG的过程中没有做方向归一化,除了硬件视差带来的偏移,还会叠加旋转错位,进一步放大不对齐的观感。 - 采集时序不匹配
原深感深度模组的采集延迟比RGB模组高1~2帧,你当前在代理方法中判断深度存在时直接取用当前ARFrame的绑定数据,没有对帧的时间戳做严格匹配,容易出现“当前帧RGB对应上一帧深度”的错位情况,最终表现为两者的人脸轮廓位置偏移。 - 直接使用未校正的原始深度映射
AVDepthData自带的depthDataMap是深度坐标系下的原生像素,没有经过RGB坐标系的校正,你在提取时没有调用系统提供的对齐接口生成与RGB图匹配的校正深度图,拿到的原始像素天然无法和RGB图直接对齐。
正确对齐的核心实现步骤:
- 从
depthData.cameraCalibrationData中提取两摄像头的内参与外参矩阵- 统一两路像素缓冲区的旋转方向到同一坐标系
- 通过投影变换将深度像素映射到RGB图像的像素空间
- 匹配帧的时间戳,确保同一次曝光对应的RGB和深度数据被配对使用
内容的提问来源于stack exchange,提问作者A.Ozda
相关产品推荐
相关产品推荐

