如何利用Apple内参将TrueDepth深度图转换为真实尺寸点云？

核心问题排查与修复步骤 #

1. 必须处理视差到深度的转换

TrueDepth输出的AVDepthData可能是视差图（格式为kCVPixelFormatType_DisparityFloat32）而非直接的深度图。视差值代表的是左右摄像头的像素偏移，不能直接当作深度值使用，必须通过公式转换为真实深度：

depth = (焦距 × 基线) / 视差值

在Swift中可以通过cameraCalibrationData获取基线和参考焦距，并转换为深度图：

if depthData.depthDataType == kCVPixelFormatType_DisparityFloat32 {
    let baseline = calibrationData.extrinsicMatrix[3][0] // 基线，单位米
    let depthMap = depthData.converting(toDepthDataType: kCVPixelFormatType_DepthFloat32).depthDataMap
}

2. 动态计算内参缩放，禁止硬编码

你当前硬编码iPhone12的内参并手动缩放的方式不可靠，不同设备、拍摄模式下的内参和分辨率都可能变化。正确做法是从cameraCalibrationData动态提取参考内参，再根据深度图实际分辨率计算缩放因子：

let refSize = calibrationData.intrinsicMatrixReferenceDimensions
let depthSize = depthData.depthDataMap.size

let scaleX = CGFloat(depthSize.width) / CGFloat(refSize.width)
let scaleY = CGFloat(depthSize.height) / CGFloat(refSize.height)

// 转换为当前深度图尺寸的内参
let fx = calibrationData.intrinsicMatrix[0][0] * scaleX
let fy = calibrationData.intrinsicMatrix[1][1] * scaleY
let cx = calibrationData.intrinsicMatrix[0][2] * scaleX
let cy = calibrationData.intrinsicMatrix[1][2] * scaleY

3. 添加镜头畸变校正

TrueDepth相机存在径向和切向畸变，未校正会导致边缘点云拉伸变形。需要用cameraCalibrationData中的畸变系数对像素坐标做校正：

import cv2

def depth_to_point_cloud(depth, fx, fy, cx, cy, distortion_coeffs):
    height, width = depth.shape
    x, y = np.meshgrid(np.arange(width), np.arange(height))
    
    # 畸变校正
    camera_matrix = np.array([[fx, 0, cx], [0, fy, cy], [0, 0, 1]], dtype=np.float32)
    dist_coeffs = np.array(distortion_coeffs, dtype=np.float32)
    undistorted_xy = cv2.undistortPoints(np.stack([x, y], axis=-1).reshape(-1, 1, 2), camera_matrix, dist_coeffs)
    x_undistorted = undistorted_xy[:, 0, 0].reshape(height, width)
    y_undistorted = undistorted_xy[:, 0, 1].reshape(height, width)
    
    # 转换3D坐标
    x3d = (x_undistorted - cx) * depth / fx
    y3d = (y_undistorted - cy) * depth / fy
    z3d = depth
    
    # 翻转Y轴：TrueDepth的Y轴向下，常规点云坐标系Y轴向上
    y3d = -y3d
    
    # 过滤无效深度值
    point_cloud = np.stack([x3d, y3d, z3d], axis=2).reshape(-1, 3)
    point_cloud = point_cloud[point_cloud[:, 2] > 0]
    
    return point_cloud

4. 确认深度值单位

TrueDepth转换后的深度图单位是米，如果你的深度数据是毫米或其他单位，需要做单位转换，否则会导致点云比例完全错误。

内容的提问来源于stack exchange，提问作者ubermensch