Aiortc Python服务端与浏览器端视频流延迟、卡顿问题求助

我正尝试将浏览器端Peer与Python服务端Peer建立连接，服务端创建本地视频流的代码如下：

def create_local_tracks(self):
    global relay, webcam

    options = {"video_size": "640x480"}
    if relay is None:
        if platform.system() == "Darwin":
            webcam = MediaPlayer(
                "default:none", format="avfoundation", options=options
            )
        elif platform.system() == "Windows":#this will be run
            webcam = MediaPlayer(
                "video=HP True Vision HD Camera", format='dshow', options=options
            )
        else:
            webcam = MediaPlayer("/dev/video0", format="v4l2", options=options)
        relay = MediaRelay()
    return relay.subscribe(webcam.video)

目前遇到的问题是：客户端视频流虽能启动，但延迟较高，且几秒后近乎卡顿。此外控制台频繁出现如下警告信息：

[swscaler @ 000001f35386bb40] deprecated pixel format used, make sure you did set range correctly

请问如何降低客户端（浏览器）的视频延迟？

1. 修复像素格式警告（根源优化） #

警告提示的废弃像素格式会触发FFmpeg额外的格式转换操作，直接增加处理开销和延迟。修改MediaPlayer的配置，明确指定浏览器原生支持的通用像素格式：

options = {
    "video_size": "640x480",
    "pixel_format": "yuv420p"  # 避免不必要的格式转码，消除swscaler警告
}

yuv420p是WebRTC和所有现代浏览器兼容的标准格式，能彻底减少服务端的转码耗时。

2. 降低视频编码与传输延迟 #

• 限制帧率：过高帧率会占用过多带宽和计算资源，在options中添加帧率限制：

  options["framerate"] = "25"  # 控制在25-30fps，平衡流畅度与资源占用
  

• 启用WebRTC低延迟配置：如果使用aiortc库，创建PeerConnection时设置低延迟相关参数：

  from aiortc import RTCPeerConnection, RTCRtpCodecParameters
  
  pc = RTCPeerConnection({
      "iceServers": [{"urls": "stun:stun.l.google.com:19302"}],
      "bundlePolicy": "max-bundle",  # 合并媒体流，减少传输开销
      "rtcpMuxPolicy": "require",
      "sdpSemantics": "unified-plan"
  })
  

• 指定低延迟编码格式：添加视频轨道时，优先选择H264的低延迟编码profile：

  video_track = self.create_local_tracks()
  transceiver = pc.addTransceiver(video_track, direction="sendonly")
  transceiver.setCodecPreferences([
      RTCRtpCodecParameters(
          mimeType="video/H264",
          clockRate=90000,
          parameters={
              "packetization-mode": "1",
              "profile-level-id": "42e01f"  # 低延迟Baseline profile
          }
      )
  ])
  

3. 优化服务端资源占用 #

• 替换全局变量relay和webcam为类实例变量，避免全局状态导致的资源泄漏或重复初始化问题。
• Windows平台下，确保摄像头设备被独占使用，关闭系统自带的摄像头滤镜或第三方工具，避免硬件资源冲突。

4. 客户端侧配合优化 #

在浏览器端的PeerConnection配置中同步启用低延迟选项：

const pc = new RTCPeerConnection({
    iceServers: [{urls: 'stun:stun.l.google.com:19302'}],
    bundlePolicy: 'max-bundle',
    rtcpMuxPolicy: 'require'
});

pc.ontrack = (event) => {
    const video = document.getElementById('remote-video');
    video.srcObject = event.streams[0];
    video.play();
    // 禁用缓冲，启用即时渲染
    video.buffered = null;
};

内容的提问来源于stack exchange，提问作者Chris P