Swift/SwiftUI/AVFoundation：两个AVPlayer输出能否合成为新AVPlayer？

实现方案 #

你不需要用CADisplayLink手动做帧同步，AVFoundation原生提供了更稳定的实现方案，完全覆盖你的需求：

方案一：基于AVSynchronizedLayer的图层合成（推荐，性能最优） #

该方案直接对图层做合成，无需二次编码音视频，适配所有原生特效同步需求：

• 首先创建空白的合成用AVPlayer实例，它仅负责驱动全局时间轴，无需加载额外AVAsset
• 分别从两个源AVPlayer生成对应的AVPlayerLayer，按照需求设置布局、层级
• 给两个源播放器的AVPlayerLayer分别绑定AVSynchronizedLayer，同步对象关联到合成播放器：

  // 源1同步层配置
  AVSynchronizedLayer *syncLayer1 = [AVSynchronizedLayer synchronizedLayerWithPlayer:compositionPlayer];
  syncLayer1.frame = containerLayer.bounds;
  [containerLayer addSublayer:syncLayer1];
  [syncLayer1 addSublayer:sourcePlayerLayer1];
  
  // 源2同步层配置同理
  AVSynchronizedLayer *syncLayer2 = [AVSynchronizedLayer synchronizedLayerWithPlayer:compositionPlayer];
  [containerLayer addSublayer:syncLayer2];
  [syncLayer2 addSublayer:sourcePlayerLayer2];
  

• 需求适配说明：
  • 暂停单个源AVPlayer时，对应AVPlayerLayer的数据源停止更新，合成画面中对应图层会自动停在最后一帧，无需额外同步逻辑
  • 给源播放器的AVPlayerLayer添加CoreAnimation特效、CIFilter滤镜时，所有改动会直接同步到合成画面中
  • 如需混合两个源的音轨，可通过AVAudioMix把两个源播放器的音轨合并后输出到合成播放器

方案二：基于实时帧采样的合成（仅需自定义帧处理时使用） #

如果需要对合成后的帧做二次加工，再选择该方案，性能略低于方案一：

• 给两个源AVPlayer的AVPlayerItem各添加一个AVPlayerItemVideoOutput实例，按需设置像素格式
• 用CADisplayLink绑定合成播放器的刷新周期，每次刷新时调用copyPixelBufferForItemTime:itemTimeForDisplay:从两个videoOutput中获取当前时间点的帧数据
• 用CoreGraphics/Metal将两个像素buffer按布局绘制到同一画布，生成新的CVPixelBuffer
• 用AVSampleBufferDisplayLayer输出合成后的帧，或者封装为AVPlayerItem供给合成播放器播放
• 注意手动释放获取到的CVPixelBuffer，避免内存泄漏

注意事项 #

• 可通过setMasterClock:将两个源播放器的时钟绑定到合成播放器的时钟上，避免出现音画不同步问题
• 源视频帧率不同时AVFoundation会自动做帧对齐，无需手动处理插帧/丢帧逻辑

内容的提问来源于stack exchange，提问作者Vitor Enes