WebRTC P2P FullHD/HD码流切换时画面损坏、绿屏问题求助

你遇到的问题核心是：切换HD/FullHD码流时，仅发送I帧不足以让解码器正确切换上下文——解码器仍保留着旧码流的配置信息（分辨率、编码参数等），导致新帧解析异常。以下是具体解决步骤：

1. 必须同步发送新码流的SPS/PPS #

SPS（序列参数集）和PPS（图像参数集）是解码器初始化的核心配置文件，包含视频分辨率、像素格式、编码约束等关键信息。切换码流时，必须先发送新通道的SPS和PPS，再发送对应I帧，否则解码器会用旧参数解码新帧，直接导致画面损坏或绿屏。

2. 保证码流切换的原子性 #

切换瞬间要彻底截断旧码流的帧发送，避免新旧帧混发导致解码器状态混乱：

• 切换通道时，立即停止旧通道的帧输出
• 按「SPS/PPS → 新生成的强制I帧 → 普通帧」的顺序发送新通道数据

3. 优化你的切换逻辑（代码修改建议） #

针对你的示例代码，补充配置发送和强制I帧触发的逻辑：

int bChannelSelected = 0;
bool bNeedSendConfig = false;

// 需根据你的编码器实现补充以下函数
void TriggerVENCForceIFrameHD();
void TriggerVENCForceIFrameFullHD();
void SendVENCConfigHD();
void SendVENCConfigFullHD();
void SendVENCSamplesHD();
void SendVENCSamplesFullHD();

void setChannelSelected(int channel) {
    if (bChannelSelected != channel) {
        bChannelSelected = channel;
        bNeedSendConfig = true;
        // 切换时强制生成对应通道的全新I帧
        channel == 0 ? TriggerVENCForceIFrameHD() : TriggerVENCForceIFrameFullHD();
    }
}

void GetVENCChannelHD() {
    if (bChannelSelected == 0) {
        if (bNeedSendConfig) {
            SendVENCConfigHD();
            bNeedSendConfig = false;
        }
        SendVENCSamplesHD();
    }
}

void GetVENCChannelFullHD() {
    if (bChannelSelected == 1) {
        if (bNeedSendConfig) {
            SendVENCConfigFullHD();
            bNeedSendConfig = false;
        }
        SendVENCSamplesFullHD();
    }
}

4. 利用WebRTC原生轨道切换（可选） #

如果你的双路码流是两个独立的MediaStreamTrack，直接使用WebRTC的RTCRtpSender.replaceTrack()方法切换轨道——这是官方推荐的方式，无需手动处理SPS/PPS和I帧发送，WebRTC栈会自动同步参数并通知远端更新解码器配置，大幅降低画面异常概率。

内容的提问来源于stack exchange，提问作者Bruce Master