Gstreamer中opusenc编码器输出卡顿/失真音频问题求解

问题排查点 #

• Opus编码参数不匹配WebRTC标准：默认opusenc配置没有适配WebRTC场景要求，通常WebRTC要求Opus使用10/20ms帧长、禁用DTX、指定音频信号类型为语音/全频带音乐，参数不匹配会导致编码后帧结构不符合Mediasoup预期，出现失真。
• RTP发送端同步配置错误：发送RTP到媒体服务器的udpsink设置了sync=true，该参数会将发送节奏同步到本地系统时钟，而非匹配源流的时间戳，会导致突发发送、帧丢弃引发卡顿。
• rtpbin缺少RTCP反馈接收链路：你启用了rtp-profile=avpf和do-retransmission=true开启重传，但流水线仅配置了RTCP发送链路，没有配置接收Mediasoup回传RTCP反馈的入口，重传逻辑完全不生效，网络丢包时直接出现断音卡顿。
• 音频格式匹配不完整：仅指定了采样率和声道数，没有明确采样格式，audioconvert输出的采样格式如果不符合opusenc的输入要求，会直接导致编码失真。
• rtpopuspay参数未与Mediasoup对齐：Mediasoup侧的Opus payload type、SSRC、时间戳偏移、序列号偏移需要和rtpopuspay的配置完全一致，参数不匹配时Mediasoup会丢弃RTP包。

修正后的流水线参考 #

gst-launch-1.0 \
  -v \
  rtpbin name=rtpbin rtp-profile=avpf do-retransmission=true \
  rtmpsrc location=rtmp://3.126.121.45:1935/live/qonda-injecttest-orig \
  ! flvdemux name=demux \
  demux.audio \
  ! queue max-size-time=100000000 max-size-buffers=0 max-size-bytes=0 \
  ! decodebin \
  ! audioconvert \
  ! audioresample \
  ! "audio/x-raw,format=S16LE,channels=2,rate=48000" \
  ! opusenc bitrate=128000 frame-size=20 dtx=false inband-fec=true expected-loss-percent=10 \
  ! rtpopuspay pt=101 ssrc=11111111 seqnum-offset=0 timestamp-offset=0 \
  ! rtpbin.send_rtp_sink_1 \
  rtpbin.send_rtp_src_1 ! udpsink host="3.69.236.199" port="41269" sync=false async=false \
  rtpbin.send_rtcp_src_1 ! udpsink host="3.69.236.199" port="48143" sync=false async=false \
  udpsrc port=你的Mediasoup返回RTCP端口 ! rtpbin.recv_rtcp_sink_1

注意：需要将你的Mediasoup返回RTCP端口替换为Mediasoup为该条流分配的RTCP接收端口，确保RTCP反馈可以正常回传给rtpbin。

内容的提问来源于stack exchange，提问作者HM Moniruzzaman