基于Golang PION/WebRTC的PortAudio+OPUS音频传输问题排查

我在使用Go/Pion库开发WebRTC应用时遇到问题。该应用可捕获视频流通过WebRTC传输，同时接收WebRTC音频并通过系统扬声器播放。当前正在实现向WebRTC连接发送音频的模块：通过github.com/gordonklaus/portaudio采集麦克风流，使用gopkg.in/hraban/opus.v2进行OPUS编码，再写入WebRTC输出轨道。

以下是无法正常工作的代码片段：

import (
    "github.com/gordonklaus/portaudio"
    "github.com/hajimehoshi/oto"
    "github.com/pion/webrtc/v4"
    "github.com/pion/webrtc/v4/pkg/media"
    "gopkg.in/hraban/opus.v2"
    "github.com/pion/rtp"
    "log"
    "runtime"
    "time"
)

func main() {
    runtime.GOMAXPROCS(runtime.NumCPU()) // Utilize all available CPU cores

    outboundAudioTrack, err := webrtc.NewTrackLocalStaticRTP(webrtc.RTPCodecCapability{
        MimeType: webrtc.MimeTypeOpus,
    }, "audio", "pion")
    if err != nil {
        log.Fatalf("Failed to create audio track: %s", err)
    }

    // Initialize PortAudio
    if err := portaudio.Initialize(); err != nil {
        log.Fatalf("Failed to initialize PortAudio: %s", err)
    }
    defer portaudio.Terminate()

    go StartMicrophoneStream(outboundAudioTrack)
}

func StartMicrophoneStream(outboundAudioTrack *webrtc.TrackLocalStaticRTP) {
    // Open default microphone device
    stream, err := portaudio.OpenDefaultStream(1, 0, sampleRate, frameSize, readAudio)
    if err != nil {
        log.Fatalf("Failed to open default stream: %s", err)
    }
    defer stream.Close()

    // Start the audio stream
    if err := stream.Start(); err != nil {
        log.Fatalf("Failed to start stream: %s", err)
    }
    defer stream.Stop()

    log.Println("Microphone streaming started")

    // Keep the stream open
    select {}
}

func readAudio(in []int16) {
    // Log input buffer
    // log.Printf("Captured audio data: %v", inputBuffer)

    // Create Opus encoder
    encoder, err := opus.NewEncoder(sampleRate, channels, opus.AppVoIP)
    if err != nil {
        log.Fatalf("Failed to create Opus encoder: %s", err)
    }

    // Encode PCM to Opus
    packet := make([]byte, 4000) // Adjust size as needed
    n, err := encoder.Encode(in, packet)
    if err != nil {
        log.Printf("Error encoding PCM to Opus: %s", err)
        return
    }

    // Log encoded packet size
    // log.Printf("Encoded audio packet size: %d", n)

    // Create RTP packet
    rtpPacket := &rtp.Packet{
        Header: rtp.Header{
            Version:        2,
            PayloadType:    111,                           // Dynamic payload type for Opus
            SequenceNumber: uint16(time.Now().UnixNano()), // Use a more appropriate sequence number generator
            Timestamp:      uint32(time.Now().UnixNano() / int64(time.Millisecond)),
            SSRC:           12345,
        },
        Payload: packet[:n],
    }

    // Marshal RTP packet to bytes
    rawPacket, err := rtpPacket.Marshal()
    if err != nil {
        log.Printf("Error marshaling RTP packet: %s", err)
        return
    }

    // Log RTP packet details
    // log.Printf("RTP packet details: %v", rtpPacket.Header)

    // Send RTP packet over WebRTC track
    if err := outboundAudioTrack.WriteRTP(rtpPacket); err != nil {
        log.Printf("Error writing RTP packet to track: %s", err)
    } else {
        log.Printf("RTP packet sent: %d bytes", len(rawPacket))
    }
}

问题在于，尽管音频轨道已被正确接收，但WebRTC连接的另一端听不到音频。在接收端（使用JavaScript和HTML），大部分时间是静音，偶尔会有规律的短暂噪音。未建立连接时不会出现这些噪音，说明数据已发送但可能编码不当或未遵循合适的比特率。

请问有什么解决思路吗？

1. 修复Opus编码器重复创建的问题 #

你当前在readAudio回调中每次都新建Opus编码器，这会彻底破坏音频编码的上下文连续性，导致输出的音频出现断裂和噪音。Opus编码器需要持续复用同一个实例来维持编码状态。

修改方式：将编码器初始化移到StartMicrophoneStream函数中，通过闭包传递给readAudio：

func StartMicrophoneStream(outboundAudioTrack *webrtc.TrackLocalStaticRTP) {
    // 提前初始化Opus编码器，复用实例
    encoder, err := opus.NewEncoder(sampleRate, channels, opus.AppVoIP)
    if err != nil {
        log.Fatalf("Failed to create Opus encoder: %s", err)
    }

    // 定义闭包复用外部的encoder
    readAudio := func(in []int16) {
        packet := make([]byte, 4000)
        n, err := encoder.Encode(in, packet)
        if err != nil {
            log.Printf("Error encoding PCM to Opus: %s", err)
            return
        }
        // 后续RTP打包逻辑...
    }

    stream, err := portaudio.OpenDefaultStream(1, 0, sampleRate, frameSize, readAudio)
    // 剩余代码不变
}

2. 修正RTP序列号与时间戳逻辑 #

• 序列号：不能用time.Now().UnixNano()生成，这会导致序列号跳变、无序，接收端无法正确重组音频流。必须使用自增计数器：

  var seqNum uint16 = 0
  // 每次发送RTP包时
  rtpPacket.Header.SequenceNumber = seqNum
  seqNum++
  

• 时间戳：WebRTC Opus的标准采样率是48kHz，时间戳需要按采样点数量递增，而非时间毫秒数。比如处理20ms帧长（对应960个采样点），每次时间戳增加960：

  var timestamp uint32 = 0
  // 每次发送RTP包时
  rtpPacket.Header.Timestamp = timestamp
  timestamp += uint32(frameSize)
  

  注意：确保sampleRate设为48000，frameSize设为960（对应20ms帧长，WebRTC与Opus的最优配置）。

3. 匹配WebRTC协商的Payload Type #

硬编码的Payload Type 111不一定和WebRTC协商结果一致，应该从轨道的Codec中获取正确值：

codec := outboundAudioTrack.Codec()
rtpPacket.Header.PayloadType = codec.PayloadType

4. 统一音频参数 #

确保全程参数一致：

• 采样率：必须为48000（WebRTC Opus标准），如果PortAudio采集的是其他采样率，需要做重采样处理
• 声道数：代码中是单声道（1），需保证Opus编码器、PortAudio流、WebRTC轨道的声道数统一
• 帧长：PortAudio的frameSize必须等于Opus编码的帧长，推荐20ms（960采样点）

5. 推荐使用Pion的媒体写入接口（可选） #

Pion提供了media.Writer接口，无需手动构建RTP包，框架会自动处理序列号、时间戳等逻辑，减少出错概率：

audioWriter := media.NewWriter(outboundAudioTrack)
// 写入Opus数据，指定帧持续时间（20ms）
err := audioWriter.WriteSample(media.Sample{Data: packet[:n], Duration: time.Millisecond * 20})

内容的提问来源于stack exchange，提问作者José Pavese