VisionOS环境下人脸追踪方案咨询（原ARKit ARFaceAnchor不支持）

VisionOS 不支持 ARKit 的 ARFaceAnchor，官方推荐的替代方案是使用 Vision 框架结合 RealityKit/SwiftUI 实现人脸检测与追踪，该方案具备成熟的人脸关键点识别、姿态估计能力，可覆盖原 ARKit 人脸追踪的核心需求。

实现流程 #

1. 配置 Vision 人脸追踪请求 #

创建VNDetectFaceLandmarksRequest以获取人脸特征点，支持五官轮廓、面部关键点的精准识别：

import Vision

private let faceLandmarkRequest = VNDetectFaceLandmarksRequest(completionHandler: handleFaceResults)

private func handleFaceResults(request: VNRequest, error: Error?) {
    guard let results = request.results as? [VNFaceObservation], error == nil else {
        return
    }
    processFaceObservations(results)
}

// 可选：指定请求版本以获取最优精度
faceLandmarkRequest.revision = VNDetectFaceLandmarksRequestRevision3

2. 获取实时帧数据并传入 Vision 处理 #

通过AVCaptureSession或 RealityKit 的ARView获取摄像头实时帧，转换为CVPixelBuffer后提交给 Vision 请求：

func processCameraFrame(_ pixelBuffer: CVPixelBuffer) {
    let handler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer, orientation: .up)
    do {
        try handler.perform([faceLandmarkRequest])
    } catch {
        print("Vision 请求执行失败：\(error.localizedDescription)")
    }
}

3. 解析特征点并映射到 3D 场景 #

将 Vision 输出的 2D 归一化特征点转换为屏幕坐标，再结合相机内参映射到 RealityKit 的 3D 空间，驱动虚拟人脸模型：

private func processFaceObservations(_ observations: [VNFaceObservation]) {
    guard let face = observations.first, let landmarks = face.landmarks else { return }
    
    // 示例：提取左眼关键点并转换为3D坐标
    if let leftEye = landmarks.leftEye {
        let normalizedPoint = leftEye.normalizedPoints[0]
        let screenPoint = CGPoint(
            x: normalizedPoint.x * view.bounds.width,
            y: (1 - normalizedPoint.y) * view.bounds.height
        )
        let face3DPoint = convertScreenTo3D(screenPoint)
        updateVirtualFace(leftEyePosition: face3DPoint)
    }
}

// 2D转3D坐标（需结合实际相机内参调整）
private func convertScreenTo3D(_ point: CGPoint) -> SIMD3<Float> {
    let camera = arView.camera
    let projMatrix = camera.projectionMatrix
    // 根据相机参数进行透视转换，这里为简化示例
    return SIMD3<Float>(Float(point.x), Float(point.y), 0.5)
}

// 更新RealityKit中的虚拟人脸模型
private func updateVirtualFace(leftEyePosition: SIMD3<Float>) {
    guard let faceAnchor = arView.scene.anchors.first(where: { $0 is FaceAnchor }) as? FaceAnchor else { return }
    faceAnchor.leftEyePosition = leftEyePosition
}

4. 性能优化 #

• 降低摄像头分辨率（如设置为1080p），减少计算负载
• 控制检测频率（每秒15-30帧），避免不必要的计算
• 将 Vision 请求放在后台队列执行，防止阻塞主线程

进阶姿态估计 #

若需更精准的人脸姿态（俯仰、翻滚、偏航），可使用VNDetectFacePoseRequest，直接获取人脸的三维姿态角度，用于驱动3D模型的旋转。

内容的提问来源于stack exchange，提问作者tonton