Android设备MediaCodec解码RTSP H.264直播流延迟问题求助

我之前在做低延迟直播项目时也碰到过几乎一模一样的问题——MediaCodec默认的缓冲策略为了兼容性和稳定性，会攒下不少帧才开始输出，直接导致了几百毫秒的延迟。结合我踩过的坑和实测有效的方案，给你整理了几个核心优化方向：

1. 强制解码器初始化时拿到H.264的SPS/PPS配置 #

MediaCodec如果没提前拿到SPS/PPS（序列参数集/图像参数集），会一直等待关键帧甚至更多帧来自动推导配置，这就是你看到要等15帧才输出的主要原因之一。

在配置MediaFormat时，务必直接传入从RTSP流中解析到的SPS和PPS：

MediaFormat videoFormat = MediaFormat.createVideoFormat("video/avc", videoWidth, videoHeight);
// 从RTSP的RTP包或SDP中提取SPS和PPS字节数组
byte[] spsData = ...;
byte[] ppsData = ...;
videoFormat.setByteBuffer("csd-0", ByteBuffer.wrap(spsData));
videoFormat.setByteBuffer("csd-1", ByteBuffer.wrap(ppsData));
// 明确设置帧率，让解码器适配直播节奏
videoFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 30);
// 关闭延迟容忍，强制低延迟模式
videoFormat.setInteger(MediaFormat.KEY_DELAY_TOLERANCE_US, 0);

2. 优化MediaCodec的输入输出处理逻辑 #

用异步回调替代同步轮询（更及时） #

同步模式下如果轮询超时设置不合理，很容易导致输出帧堆积。改用异步回调可以让解码器一有输出就立刻触发处理：

mediaCodec.setCallback(new MediaCodec.Callback() {
    @Override
    public void onInputBufferAvailable(MediaCodec codec, int inputBufferId) {
        ByteBuffer inputBuffer = codec.getInputBuffer(inputBufferId);
        if (inputBuffer != null && hasPendingNalu()) {
            byte[] nalu = getNextNaluFromRtsp();
            inputBuffer.clear();
            inputBuffer.put(nalu);
            // 用RTSP的RTP时间戳转换为微秒级的展示时间，不要用系统时间累加，避免漂移
            long ptsUs = convertRtpTimestampToUs(rtpTimestamp);
            codec.queueInputBuffer(inputBufferId, 0, nalu.length, ptsUs, 0);
        }
    }

    @Override
    public void onOutputBufferAvailable(MediaCodec codec, int outputBufferId, MediaCodec.BufferInfo bufferInfo) {
        // 直接释放缓冲区并渲染到Surface，第二个参数设为true表示立即显示
        codec.releaseOutputBuffer(outputBufferId, true);
        // 不要在这里做耗时操作，否则会阻塞解码器输出
    }

    // 实现其他回调方法...
});

同步模式下要零超时轮询输出 #

如果必须用同步模式，dequeueOutputBuffer的超时时间要设为0，确保一有输出就处理，绝不等待：

MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
while (isDecoding) {
    // 处理输入...
    int outputBufferId = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);
    while (outputBufferId >= 0) {
        mediaCodec.releaseOutputBuffer(outputBufferId, true);
        outputBufferId = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);
    }
}

3. 削减RTSP客户端的接收缓冲 #

很多时候延迟不止来自解码器，RTSP客户端本身的接收缓冲也会攒下几帧数据。你可以：

• 优先使用UDP传输（如果网络环境稳定）：TCP的拥塞控制和滑动窗口会导致系统层缓冲更多数据，UDP能做到更低延迟。
• 缩小Socket接收缓冲区：比如设置socket.setReceiveBufferSize(8192)（根据帧率和单帧大小调整，确保不会丢包），减少系统内核层的缓冲。
• 实时解析RTP包：收到RTP包后立刻解析出NALU，不要攒多个包再处理，直接传给解码器。

4. 优化渲染层的缓冲 #

渲染环节的缓冲也会增加延迟，比如SurfaceView/TextureView默认的缓冲队列长度：

• 对于SurfaceView，设置getHolder().setFixedSize(width, height)，并通过EGL配置减少缓冲数量（比如把EGL_BUFFER_SIZE设为2）。
• 用releaseOutputBuffer的第二个参数render设为true，让解码后的帧直接提交到渲染队列，不做额外缓存。

5. 尝试切换到软件解码器（极端情况） #

部分厂商的硬件解码器为了性能优化，会内置较大的缓冲池。如果以上优化都无效，可以试试强制使用Google的软件解码器：

MediaCodec codec = MediaCodec.createDecoderByType("video/avc");
// 或者直接指定组件名
MediaCodec codec = MediaCodec.createByCodecName("OMX.google.h264.decoder");

注意：软件解码性能不如硬件，可能会在高分辨率下出现卡顿，需要根据设备性能权衡。

按照这个顺序逐一优化，我当时把延迟从600ms降到了100ms以内，完全满足直播的实时性要求。

内容的提问来源于stack exchange，提问作者Tomer Levi