Android平台pjsua2(pjsip)视频通话质量优化及渲染花屏问题排查

问题描述 #

在Android平台使用pjsua2实现视频通话时，出现视频无法渲染和切换画面时像素花屏的问题，花屏效果如下：

当前使用的编解码器参数设置代码如下：

codecParam.setEncFmt(
                setCodecParams(
                    codecParam.getEncFmt(), // MediaFormatVideo
                    30, // fpsNum
                    1, // fpsDenum
                    2048000, //AvgBps
                    10192000 // MaxBps
                )
  );


public MediaFormatVideo setCodecParams(
        MediaFormatVideo mediaFormatVideo,
        int fps,
        int fpsDeNum,
        int avgBps,
        int maxBps
    ) {
        mediaFormatVideo.setFpsNum(fps);
        mediaFormatVideo.setFpsDenum(fpsDeNum);
        if (avgBps > 0) {
            mediaFormatVideo.setAvgBps(avgBps);
        }
        if (maxBps > 0) {
            mediaFormatVideo.setMaxBps(maxBps);
        }
        mediaFormatVideo.setWidth(240);
        mediaFormatVideo.setHeight(320);


        return mediaFormatVideo;
    }

可能的解决方向 #

• 分辨率与帧率适配：确认设备摄像头支持240×320分辨率及30FPS，部分设备对非标准分辨率兼容性差，可切换为320×240、640×480这类常规分辨率，同时将帧率降至15FPS测试。
• 码率参数下调：当前设置的平均码率2Mbps、最大码率约10Mbps可能超出网络承载能力，丢包会引发花屏。尝试把平均码率降到1Mbps（1024000），最大码率设为2Mbps再测试。
• 渲染回调与缓冲区检查：排查pjsua2视频渲染回调的实现，确认YUV/RGB格式转换、数据拷贝逻辑无错误，避免缓冲区溢出；保证渲染线程与pjsua2视频线程同步，防止帧数据混乱。
• 编解码器一致性验证：确保通话两端使用相同的视频编解码器（如均为H.264），检查pjsua2编译时是否正确引入对应编解码器库，若设备硬编解码兼容性差，可强制启用软编解码。
• pjsua2核心配置优化：确认VidDevManager配置正确，开启视频自动协商，避免手动固定参数导致两端不兼容；开启视频抖动缓冲并调整缓冲大小，优化帧时序稳定性。

内容的提问来源于stack exchange，提问作者azizconi1