Android平台MediaCodec解码WiFi摄像头Raw H264视频异常问题咨询

我之前做WiFi摄像头Raw H264流解码时，也碰到过几乎一模一样的问题——底部区域异常、移动摄像头时画面错乱。结合踩过的坑，给你几个针对性的排查方向：

1. 先确认NAL单元的切割是否100%准确 #

Raw H264流的NAL单元靠0x00 0x00 0x01或0x00 0x00 0x00 0x01作为分隔符，这一步最容易出问题：

• 如果Socket接收的数据包刚好截断了某个NAL单元，直接喂给解码器就会导致帧的尾部解析错误，刚好对应你看到的底部异常区域；
• 建议加日志打印每个切割后的NAL单元的起始码、长度，对比摄像头侧输出的原始NAL单元参数，确认有没有丢字节、多切或者漏切的情况。

2. 核对MediaFormat参数与SPS的一致性 #

你已经设置了csd-0和csd-1，但别忽略SPS里的核心分辨率参数：

• 很多摄像头的SPS里会带裁剪偏移，直接用标称的宽高会导致解码器渲染时底部出现异常；
• 可以解析SPS中的pic_width_in_mbs_minus1和pic_height_in_map_units_minus1计算实际分辨率：(pic_width_in_mbs_minus1 + 1) * 16，高度还要注意场编码的情况（如果是隔行扫描，需要额外处理）；
• 另外，强制设置color-format为MediaFormat.COLOR_FormatYUV420Flexible，这个格式兼容性最好，能避免因格式不匹配导致的渲染错位。

3. 检查解码器输入是否需要去掉起始码 #

不同Android版本的解码器对输入数据要求不一样：

• 有些解码器要求输入的NAL单元必须去掉起始码（只保留RBSP数据），有些则允许带起始码；
• 你可以做个测试：一种是保留起始码喂给解码器，另一种是截取掉3/4字节的起始码后再传入，看哪种能解决底部异常。

4. 移动摄像头异常：聚焦关键帧与时间戳 #

移动画面时的错乱，大概率和关键帧（IDR帧）或时间戳有关：

• 确认每个NAL单元的PTS/DTS是否正确设置，解码器依赖时间戳做帧排序和渲染，时间戳跳变、重复或缺失会导致画面撕裂；
• 摄像头移动时通常会触发更多IDR帧，要确保IDR帧的NAL单元被完整接收并传入解码器——IDR帧丢失会导致后续P帧无法正确解码，直接出现画面错乱；
• 可以在日志里标记IDR帧（NAL单元类型为5），确认移动摄像头时能稳定收到完整的IDR帧。

5. 解码器状态的重置机制 #

如果摄像头存在参数变更（比如分辨率调整、重启），旧的解码器缓存的参数可能导致异常：

• 建议在收到新的SPS/PPS时，先释放旧的解码器实例，重新配置MediaFormat（更新csd-0/csd-1和分辨率），再创建新的解码器，不要复用旧实例。

你可以先从NAL单元切割和分辨率匹配这两点入手排查，这两个是这类问题最常见的诱因。

内容的提问来源于stack exchange，提问作者Guy S