使用Combine在SwiftUI中显示相机实时画面的效率及帧处理问题

1. 当前转换+Combine绑定的方案是否高效？ #

这个方案不算最优的高效方案，核心问题集中在冗余转换和主线程占用上：

• 现有流程存在冗余转换：CVPixelBuffer → CGImage → CIImage → CGImage，其中无意义的CIImage↔CGImage来回转换会额外消耗内存与计算资源；即使需要加滤镜，也可以直接从CVPixelBuffer创建CIImage，跳过两次CGImage转换步骤。
• 图像转换操作在主线程执行（当前代码中receive(on: RunLoop.main)后执行compactMap），会阻塞UI线程，引发画面卡顿、掉帧问题。
• SwiftUI的Image组件对实时视频流的渲染优化，远不如系统原生的AVCaptureVideoPreviewLayer直接高效。

更优的高效方案参考：

• 直接封装PreviewLayer：将AVCaptureVideoPreviewLayer包装为UIViewRepresentable，直接渲染相机原始流，无需任何像素格式转换，这是系统级的最低延迟渲染方式。
• 优化转换流程：若必须做图像处理，直接从CVPixelBuffer创建CIImage（CIImage(cvPixelBuffer: buffer)），处理后用CIContext生成CGImage，且将转换、滤镜操作放在后台队列执行，仅把最终结果抛回主线程更新UI。
• Combine线程优化：将图像转换逻辑移到后台队列，用.subscribe(on: DispatchQueue.global(qos: .userInitiated))指定处理线程，避免阻塞主线程。

2. 处理速度跟不上时，过时帧会自动丢弃吗？ #

是的，默认情况下过时帧会被自动丢弃，核心原因有两点：

• AVCaptureVideoDataOutput的alwaysDiscardsLateVideoFrames属性默认值为true，当输出队列（代码中的videoOutputQueue）来不及处理新帧时，系统会直接丢弃未处理的旧帧，避免帧队列积压。
• 你的Combine链路基于@Published（本质是CurrentValueSubject），它仅保留最新的输出值。如果上游发送新的CVPixelBuffer时，下游还在处理上一帧，新值会直接覆盖旧值，未完成的旧帧转换任务也会被忽略，相当于在Combine层面自动丢弃了过时帧。

需要注意：如果手动将alwaysDiscardsLateVideoFrames设为false，或者处理帧的队列是串行且阻塞状态，就可能出现帧积压，引发内存飙升、画面延迟严重的问题。

内容的提问来源于stack exchange，提问作者meaning-matters