使用Pion WebRTC传输转码流时视频正常但音频断续的问题排查

从你的描述来看，音频断续+RTCP块被跳过的问题，大概率是转码参数不匹配、时序控制逻辑缺陷以及WebRTC音频轨道配置不一致共同导致的，下面一步步拆解问题并给出解决方案：

1. 先修正FFmpeg转码命令：Opus参数适配WebRTC实时场景 #

你当前的命令只指定了page_duration，但Opus编码的关键参数没对齐WebRTC的要求，这可能导致OGG页的GranulePosition计算异常，进而影响后续的采样时长计算：

# 优化后的转码命令
ffmpeg -i demo.mp4 -c:a libopus -vn \
  -frame_duration 20 \          # 强制Opus帧时长为20ms（WebRTC推荐的标准值）
  -application voip \          # 针对实时语音/音频场景优化编码（降低延迟）
  -ac 1 \                      # 如果不需要立体声，强制单声道（WebRTC默认单声道，减少带宽）
  -page_duration 20000 \       # OGG页时长和帧时长对齐，避免页内多帧
  demo.ogg

为什么要改这些参数？ #

• frame_duration 20：Opus支持的帧时长是2.5/5/10/20/40/60ms，20ms是实时传输的最优选择，能平衡延迟和音质
• application voip：让Opus编码器针对实时场景优化，减少编码延迟，生成的帧更适合WebRTC的时序要求
• ac 1：如果原视频是立体声，转成单声道可以避免Pion Track配置和音频数据不匹配，减少RTCP解析错误

2. 重构发送端的时序控制逻辑：抛弃time.Sleep #

你当前用time.Sleep(sampleDuration)来控制发送节奏是非常不可靠的——Go的time.Sleep精度有限，尤其是小时长的睡眠，累积误差会导致音频缓冲耗尽（出现断续），或者发送过快（播放跳帧）。

WebRTC的AudioTrack本身已经内置了时序缓冲管理，你只需要正确传入Sample的Duration，剩下的交给Pion处理即可：

var lastGranule uint64
// 建议先预读取所有OGG页到内存，或者用通道异步读取，避免阻塞主循环
for {
    pageData, pageHeader, err := ogg.ParseNextPage()
    if err != nil {
        if errors.Is(err, io.EOF) {
            break // 音频流结束
        }
        util.HandleError(err)
        continue
    }

    // 首次循环初始化lastGranule
    if lastGranule == 0 {
        lastGranule = pageHeader.GranulePosition
        continue
    }

    sampleCount := pageHeader.GranulePosition - lastGranule
    lastGranule = pageHeader.GranulePosition
    // 直接用整数计算避免浮点误差：48000采样率下，1ms对应48个样本
    sampleDuration := time.Duration(sampleCount / 48) * time.Millisecond

    // 关键：直接写入Sample，不要Sleep！
    err = audioTrack.WriteSample(media.Sample{
        Data:     pageData,
        Duration: sampleDuration,
    })
    util.HandleError(err)
}

核心改进点： #

• 用整数计算sampleDuration，避免浮点运算带来的精度误差（比如sampleCount/48000*1000可能出现小数毫秒，导致Sleep时长错误）
• 移除time.Sleep，让Pion的Track根据自身的缓冲状态来调度发送，完全适配WebRTC的实时传输时序

3. 排查RTCP格式错误的根源 #

Chrome日志里的30 RTCP blocks were skipped警告，通常和以下几点有关：

• 音频轨道Codec配置不匹配：创建AudioTrack时，必须确保RTPCodecCapability和转码后的音频参数一致：

  // 示例：单声道48kHz的Opus轨道配置
  codec := webrtc.RTPCodecCapability{
      MimeType:     "audio/opus",
      ClockRate:    48000,
      Channels:     1, // 如果你转码时用了-ac 2，这里要改成2
      SDPFmtpLine:  "minptime=20;useinbandfec=1", // 可选：开启带内FEC，提升抗丢包能力
  }
  audioTrack, err := webrtc.NewTrackLocalStaticSample(codec, "audio", "pion")
  

• OGG页数据损坏：用oggz-info demo.ogg工具检查生成的OGG文件，确认每个页的granule_pos差值是否稳定（比如20ms帧对应的差值是960，48000*0.02=960），如果差值波动大，说明FFmpeg转码有问题，需要重新调整参数
• RTP payload类型错误：确保Pion使用的Opus payload类型是标准的111（WebRTC默认），如果自定义了payload类型，需要在SDP中正确声明

4. 额外验证步骤 #

• 用opusinfo demo.ogg检查转码后的Opus流参数，确认采样率、通道数、帧时长是否符合预期
• 在Pion代码中添加日志，打印每次写入的sampleCount和sampleDuration，看是否有异常值（比如突然出现超大的时长）

按照以上步骤调整后，音频断续和RTCP错误的问题应该能得到解决。

内容的提问来源于stack exchange，提问作者Twometer