iPhone11上RTCMTLVideoView渲染大尺寸视频帧偶现冻结问题

AI 小北

2026-8-30

问题现象

按常规方式创建RTCMTLVideoView实例并绑定RTCVideoTrack后，当视频分辨率单边长度高于1000（例如1720×1200）时，视图内视频播放偶发冻结数秒，之后可自行恢复
同一网络环境下使用Web客户端渲染同一条视频轨无卡顿，可排除WebRTC本身故障、网络传输类问题

对应实现代码：

...
#if arch(arm64)
    var rtcVideoView: RTCMTLVideoView!
#else
    var rtcVideoView: RTCEAGLVideoView!
#endif
...

func showRemoteVideo(videoTrack: RTCVideoTrack) {
    #if arch(arm64)
        rtcVideoView = RTCMTLVideoView(frame: bounds)
        rtcVideoView.delegate = self
    #else
        rtcVideoView = RTCEAGLVideoView(frame: .zero)
    #endif
        
    rtcVideoView.layoutMargins = UIEdgeInsets.zero
    rtcVideoView.translatesAutoresizingMaskIntoConstraints = false
        
    addSubview(rtcVideoView)
        
    NSLayoutConstraint.activate([
        rtcVideoView.topAnchor.constraint(equalTo: topAnchor),
        rtcVideoView.bottomAnchor.constraint(equalTo: bottomAnchor),
        rtcVideoView.leftAnchor.constraint(equalTo: leftAnchor),
        rtcVideoView.rightAnchor.constraint(equalTo: rightAnchor)])

    videoTrack.add(rtcVideoView)
}

排查与解决思路

该问题是iOS端WebRTC Metal渲染链路处理高分辨率帧的常见异常，按以下优先级逐一验证即可：

配置渲染层降采样：默认配置下RTCMTLVideoView不会根据视图实际大小对原始帧做缩放，传入1720×1200分辨率帧时会直接申请对应尺寸的Metal绘制纹理，部分设备GPU处理大尺寸纹理时会触发资源抢占，出现短暂渲染阻塞。初始化视图后直接设置rtcVideoView.renderSize为视图实际展示尺寸乘以屏幕缩放系数，强制渲染层按展示尺寸做帧缩放，避免直接渲染原始大分辨率帧。
校验线程合规性：RTCMTLVideoView的所有相关操作（初始化、绑定track、布局调整、属性修改）必须放在主线程执行。如果绑定track、视图初始化的逻辑放在后台线程，高分辨率下帧处理耗时升高后会触发偶发线程阻塞，直接导致画面冻结。
关闭不必要的纹理拷贝：部分版本的WebRTC库默认开启RTCMTLVideoView的帧缓存拷贝逻辑，1720×1200分辨率下单帧内存占用超过10MB，频繁的内存申请释放会触发系统内存压缩机制，阻塞渲染线程。除设置videoContentMode适配布局外，可将enableSetNeedsDisplay属性设为false，改用CADisplayLink驱动实时渲染，避免依赖布局回调触发的绘制延迟。
版本兼容兜底：M80-M90区间的iOS WebRTC版本存在Metal渲染大分辨率帧的死锁bug，解码帧时间戳跳变时会触发渲染线程等待，直接升级到M95以上稳定版本即可修复。如果升级版本后仍有少量设备出现异常，可针对1080p及以上分辨率的流，在arm64架构下临时切换为RTCEAGLVideoView渲染，OpenGL ES在旧款iOS设备上处理大分辨率帧的调度稳定性优于默认Metal实现，不会出现数秒级的渲染阻塞。

验证时可先强制将远端发送的视频分辨率降到720p，如果冻结现象完全消失，即可确认问题出在渲染层大分辨率处理逻辑，与传输、解码链路无关。

内容的提问来源于stack exchange，提问作者Ross Stepaniak