Android端MediaCodec解码RTP/UDP H.264流存在600ms延迟求优化方案

阿华AIGC实验室

2026-5-25

针对Android MediaCodec+SurfaceView解码RTP H.264的低延迟优化方案

我完全理解你现在的困扰——明明摄像头硬件和PC端都能做到低至50ms的延迟，Android这边却卡着600ms，确实让人头疼。结合你描述的处理流程，我整理了几个实际项目中验证过的优化方向，都是针对性解决这类延迟问题的：

1. 从RTP包处理环节砍掉延迟

拒绝攒包处理：收到每个UDP包后立刻解析RTP头，对于FU-A分片的NAL单元，一凑齐完整分片就立即组装成NAL，不要等后续包堆积后再批量处理，从源头避免数据缓存。
减少内存拷贝损耗：解析RTP和组装NAL时，全程使用ByteBuffer.allocateDirect()创建直接缓冲区，跳过JVM堆与Native堆之间的拷贝，大幅提升处理速度。
缩小UDP接收缓冲区：系统默认的UDP缓冲区偏大，会导致未处理的数据在系统层堆积。通过DatagramSocket.setReceiveBufferSize(8192)（根据你的MTU调整具体值）设置小缓冲区，强制实时处理数据，避免系统层面的缓存延迟。

2. 给MediaCodec配置低延迟专属参数

默认的MediaCodec参数是兼顾兼容性和流畅性，而非低延迟优先，必须手动调整：

添加KEY_OPTIMIZE_FOR_LATENCY为true：明确告诉解码器优先考虑延迟，而非带宽或画质。
设置KEY_DELAY_TOLERANCE_US为极小值（比如10000，即10ms）：限制MediaCodec允许缓存的最大时间，避免为了同步而等待。
明确指定KEY_FRAME_RATE为摄像头实际帧率：让解码器准确预测帧间隔，减少不必要的等待逻辑。
必须传入SPS/PPS：H.264解码依赖这两个参数，提前写入MediaFormat能让解码器更快初始化，避免启动阶段的延迟。

示例代码片段：

MediaFormat format = MediaFormat.createVideoFormat("video/avc", videoWidth, videoHeight);
format.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
format.setInteger(MediaFormat.KEY_FRAME_RATE, 30); // 替换为你的摄像头实际帧率
format.setInteger(MediaFormat.KEY_OPTIMIZE_FOR_LATENCY, 1);
format.setLong(MediaFormat.KEY_DELAY_TOLERANCE_US, 10000);
// 写入SPS和PPS
format.setByteBuffer("csd-0", spsByteBuffer);
format.setByteBuffer("csd-1", ppsByteBuffer);

3. 优化MediaCodec缓冲区处理逻辑

使用异步解码模式：相比同步模式，setCallback()的异步回调能更及时响应缓冲区状态，避免主线程阻塞导致的延迟。
输入缓冲区即时处理：拿到可用的输入缓冲区后，立即写入组装好的NAL单元，写完就调用queueInputBuffer()，不要缓存缓冲区。同时要正确设置时间戳——用RTP的90kHz时钟时间戳转换为微秒级：
```
// startRtpTimestamp是收到的第一个RTP包的时间戳
long presentationTimeUs = (currentRtpTimestamp - startRtpTimestamp) * 1000000 / 90000;
```
输出缓冲区即时渲染：收到onOutputBufferAvailable()回调后，立刻调用releaseOutputBuffer(bufferId, true)（第二个参数设为true直接渲染到Surface），绝对不要缓存输出缓冲区，避免画面堆积。

4. 优化SurfaceView的渲染效率

匹配视频分辨率：确保SurfaceView的尺寸和视频分辨率完全一致，避免缩放带来的额外渲染延迟。
尝试调整缓冲数：可以通过holder.setBufferCount(1)设置单缓冲（可能会有画面撕裂，需权衡延迟与画质），减少缓冲区带来的等待。

5. 系统层面的辅助优化

提升线程优先级：在解码和渲染线程中调用Process.setThreadPriority(Process.THREAD_PRIORITY_URGENT_DISPLAY)，让系统优先调度这些核心线程。
禁用电池优化：引导用户将应用加入电池优化白名单，避免系统在后台限制CPU或网络资源。
关闭系统动画：建议用户关闭开发者选项中的窗口/过渡动画缩放，减少系统层面的渲染延迟。