如何同步SwiftUI界面更新与iPad相机拍摄流程？

我正在开发一款iOS应用，用iPad屏幕投射结构光，同时用前置相机拍摄。期望流程是：

1. UI显示图案1
2. 相机拍摄照片
3. UI显示图案2
4. 相机拍摄照片
   ……以此循环。

按照Apple开发者文档，我用AVCapturePhotoCaptureDelegate监听拍摄流程，但发现SwiftUI界面更新滞后于@Published变量currentPattern的变更，导致相机可能在UI切换到下一个图案前就完成拍摄，流程错乱。我试过休眠1/60秒（对应iPad 60Hz刷新率）延迟拍摄，但没用。需要确保UI显示第i个图案后，相机才开始第i张照片的曝光。想知道：

• 有没有方法同步UI更新与相机拍摄？
• 是否存在可监听UI更新完成的API？
• 是否应该改用Metal渲染图案而非SwiftUI？

原代码示例 #

class ContentViewModel : NSObject, ObservableObject, AVCapturePhotoCaptureDelegate {

    //Pattern to be displayed in the UI
    @Published var currentPattern : UIImage!

    init() {
        //Firstly, configure camera
        self.configureFrontTrueDepthCamera()
        //Then, prepare the first pattern
        self.currentPattern = ...
        //Finally, capture a photo
        self.capturePhoto()
    }
    
    //Configure camera
    private var frontTrueDepthCameraInput : AVCaptureDeviceInput!
    private let frontTrueDepthCameraPhotoOutput = AVCapturePhotoOutput()
    private func configureFrontTrueDepthCamera() {
        //omit
    }

    //Capture a photo
    func capturePhoto() {
        let photoSettings = AVCapturePhotoSettings()
        photoSettings.isDepthDataDeliveryEnabled = true
        photoSettings.isDepthDataFiltered = false
        self.frontTrueDepthCameraPhotoOutput.capturePhoto(with: photoSettings, delegate: self)
    }

    //MARK: AVCapturePhotoCaptureDelegate protocol
    //Just before starting the exposure
    func photoOutput(
        _ output: AVCapturePhotoOutput,
        willBeginCaptureFor resolvedSettings: AVCaptureResolvedPhotoSettings
    ) {
        print("Before starting the exposure")
    }
    
    //When the exposure time begins
    func photoOutput(
        _ output: AVCapturePhotoOutput,
        willCapturePhotoFor resolvedSettings: AVCaptureResolvedPhotoSettings
    ) {
        print("When the exposure time begins")
    }
    
    //As soon as the exposure time completes
    func photoOutput(
        _ output: AVCapturePhotoOutput,
        didCapturePhotoFor resolvedSettings: AVCaptureResolvedPhotoSettings
    ) {
        print("As soon as the exposure time completes")
    }
    
    //When the photo output has image data available
    func photoOutput(
        _ output: AVCapturePhotoOutput,
        didFinishProcessingPhoto photo: AVCapturePhoto,
        error: Error?
    ) {
        print("Photo is available")
        ......//Process the photo output
    }
    
    //When all of the system's work for a capture is complete
    func photoOutput(
        _ output: AVCapturePhotoOutput,
        didFinishCaptureFor resolvedSettings: AVCaptureResolvedPhotoSettings,
        error: Error?
    ) {
        print("Capture completes")
        //Prepare the next pattern
        self.currentPattern = ...
        //Capture a photo again
        self.capturePhoto()
    }
}

修改后的代码片段 #

//When all of the system's work for a capture is complete
    func photoOutput(
        _ output: AVCapturePhotoOutput,
        didFinishCaptureFor resolvedSettings: AVCaptureResolvedPhotoSettings,
        error: Error?
    ) {
        print("Capture completes")
        //Prepare the next pattern
        self.currentPattern = ...
        //Sleep for 1/60 second, then capture a photo
        self.dispatchQueue.async {
            usleep(UInt32(1000000 / 60))
            //Capture a photo again
            self.capturePhoto()
        }
    }

1. 监听UI渲染完成的可靠方式 #

SwiftUI没有直接的“UI更新完成”回调，但可以通过以下方式确保UI已渲染完成后再触发拍摄：

方案A：利用RunLoop等待当前刷新周期完成 #

func photoOutput(_ output: AVCapturePhotoOutput, didFinishCaptureFor resolvedSettings: AVCaptureResolvedPhotoSettings, error: Error?) {
    print("Capture completes")
    // 更新图案
    self.currentPattern = ...
    // 等待当前主线程刷新周期完成后再拍摄
    DispatchQueue.main.async {
        RunLoop.main.perform(inModes: [.common]) {
            self.capturePhoto()
        }
    }
}

方案B：用CADisplayLink对齐屏幕刷新率 #

这种方式能精准绑定到下一次屏幕刷新时机，避免休眠的不确定性：

func photoOutput(_ output: AVCapturePhotoOutput, didFinishCaptureFor resolvedSettings: AVCaptureResolvedPhotoSettings, error: Error?) {
    print("Capture completes")
    self.currentPattern = ...
    
    let displayLink = CADisplayLink(target: self, selector: #selector(startCaptureAfterRefresh))
    displayLink.add(to: .main, forMode: .common)
}

@objc private func startCaptureAfterRefresh(_ displayLink: CADisplayLink) {
    displayLink.invalidate()
    self.capturePhoto()
}

2. 同步相机与UI的进阶优化 #

• 所有@Published变量的赋值必须在主线程执行，SwiftUI状态更新依赖主线程调度，后台修改会导致渲染延迟。
• 避免使用usleep，它会阻塞线程，无法和UI刷新周期同步，反而可能加剧延迟问题。
• 可以结合AVCapturePhotoCaptureDelegate的willBeginCaptureFor回调，在相机即将开始曝光前做最终的图案状态校验。

3. 是否需要改用Metal？ #

如果上述方案无法满足精度要求（比如需要微秒级同步），改用Metal是合理选择：

• Metal可以直接控制纹理渲染到屏幕，延迟远低于SwiftUI，能精准控制渲染时机。
• 可以将Metal的渲染完成回调与相机拍摄触发直接绑定，实现完全同步。
• 若现有SwiftUI方案通过优化能满足需求，优先保留现有架构，减少迁移成本。

关键测试技巧 #

开启Xcode的Core Animation调试工具（Xcode菜单 > Debug > View Debugging > Show Core Animation Debugger），查看UI渲染的帧时间，确认图案是否在相机曝光前已完成渲染。

内容的提问来源于stack exchange，提问作者Jinjiang You