使用libmp4v2封装OpenH264编码H.264流为MP4的兼容性问题

这个问题我之前帮别人排查过，核心原因是libmp4v2默认的封装逻辑没有完全满足Windows媒体播放器对H.264 MP4的严格标准要求——虽然码流本身是合规的，但MP4容器的元数据或封装细节没做到位，导致Windows的解码器识别失败。下面是针对性的解决步骤：

1. 确保H.264 Profile/Level的正确标识 #

Windows的Media Player和“电影和电视”应用对H.264的profile和level标识有硬性要求，必须在MP4的avcC box里明确标注，而不能只依赖码流中的SPS信息。

• 先用FFmpeg查看正常播放的文件的profile/level信息：

  ffprobe -v quiet -print_format json -show_streams ffmpeg_output.mp4
  

  找到streams[0].codec_profile和streams[0].codec_level字段的值。
• 在你的代码中，使用libmp4v2的MP4SetVideoProfileLevel函数，显式设置对应的profile和level，比如：

  MP4SetVideoProfileLevel(hMp4File, MP4_PROFILE_BASELINE, MP4_LEVEL_3_0);
  

  同时要确保OpenH264编码时输出的SPS中包含匹配的profile_idc和level_idc值。

2. 正确嵌入SPS/PPS到avcC box #

Windows解码器依赖avcC box中预存的SPS和PPS来初始化，而不是从码流中动态解析。libmp4v2需要你主动添加这些参数，而不是只写入帧数据：

• 在创建视频轨道后，立即调用MP4AddH264SequenceParameterSet和MP4AddH264PictureParameterSet函数，把OpenH264编码得到的SPS、PPS数据传入：

  // 假设spsData是SPS字节数组，spsLen是长度；ppsData、ppsLen同理
  MP4AddH264SequenceParameterSet(hMp4File, videoTrackId, spsData, spsLen);
  MP4AddH264PictureParameterSet(hMp4File, videoTrackId, ppsData, ppsLen);
  

  注意要去掉SPS/PPS前面的NALU起始码（0x000001或0x00000001），只保留原始的SPS/PPS字节内容。

3. 修正NALU的封装格式 #

OpenH264输出的NALU通常携带起始码，但MP4容器要求用长度前缀（4字节大端格式的NALU长度）替代起始码：

• 处理每一个OpenH264输出的NALU：先扫描并移除起始码，然后计算NALU的长度，将长度以4字节大端的形式写入MP4，再写入NALU的实际数据。
• 示例代码片段（C++）：

  // 假设naluBuf是包含起始码的NALU缓冲区，naluSize是总长度
  uint8_t* naluData = naluBuf;
  int naluLen = naluSize;
  // 移除起始码
  if (naluLen >= 4 && naluBuf[0] == 0 && naluBuf[1] == 0 && naluBuf[2] == 0 && naluBuf[3] == 1) {
      naluData += 4;
      naluLen -= 4;
  } else if (naluLen >= 3 && naluBuf[0] == 0 && naluBuf[1] == 0 && naluBuf[2] == 1) {
      naluData += 3;
      naluLen -= 3;
  }
  // 写入长度前缀+NALU数据
  MP4WriteSample(hMp4File, videoTrackId, naluData, naluLen, MP4_INVALID_DURATION, 0, 1);
  

4. 校准时间戳与帧率设置 #

Windows播放器对时间戳的精度和帧率的一致性要求很高，错误的时间戳会导致解码器拒绝播放：

• 创建视频轨道时，设置正确的time scale和帧率。比如30fps的视频，可以将time scale设为30，每帧的时间戳递增1；或者time scale设为1000，每帧递增33（近似）：

  uint32_t timeScale = 30;
  uint32_t frameDuration = 1;
  MP4TrackId videoTrackId = MP4AddH264VideoTrack(hMp4File, timeScale, frameDuration, width, height,
                                                  spsData[1], spsData[2], spsData[3], 1);
  

• 写入每帧时，确保时间戳是连续递增的，且符合帧率对应的间隔。

5. 对比MP4结构差异 #

用MP4Box工具对比你的输出文件和FFmpeg生成文件的结构，找出差异：

• 运行命令查看文件结构：

  MP4Box -info your_output.mp4 > your_info.txt
  MP4Box -info ffmpeg_output.mp4 > ffmpeg_info.txt
  

• 重点对比avcC box的内容，包括configurationVersion、profileIndication、profileCompatibility、levelIndication等字段，确保你的文件和FFmpeg生成的完全一致。

按照这些步骤调整后，你的MP4文件应该就能在Windows的两款播放器中正常播放了。

内容的提问来源于stack exchange，提问作者Crigges