双轨FMP4构建时每个mdat应包含多少音视频样本？

问题1：视频mdat存储单位选择 #

两种方案均符合ISO BMFF规范，无强制限制：

• 单帧存储：就是你观察到ffmpeg默认输出的模式，优势是延迟最低，适合低延迟直播场景；缺点是会生成大量moof box，文件元数据开销更高，seek时需要遍历更多box结构。
• 完整GOP存储：是点播、常规直播场景的主流选择，优势是每个moof+mdat块是独立可解码单元，不需要依赖前后块的数据，seek、容错能力更强，元数据开销更低。
  如果没有极端低延迟需求，更推荐按完整GOP打包视频块。

问题2：音频mdat样本数量设置 #

规范层面没有强制要求音频块时长必须和相邻视频块时长完全对齐，但实际使用有两个通用原则：

• 音频块的pts、dts时间戳必须和实际样本的时间完全匹配，只要时间戳准确，哪怕你在1秒视频块后放2秒的音频块，播放器也可以正常解码播放。
• 不建议相邻音视频块的时长差超过1秒，否则会导致播放器缓存调度异常，容易出现音画不同步、seek定位偏差、卡顿等问题。

针对你提到的单帧视频对应音频块太小播放效果差的问题，你可以固定音频块的打包时长，比如统一按20ms/40ms/100ms为单位打包音频，不需要和单帧视频的数量严格绑定，只要保证每个块的时间戳准确即可。比如25fps的视频单帧时长40ms，你就按40ms为单位打包音频，每个音频块刚好对应1帧视频的时长，完全不会出现音频播放异常的问题。

内容的提问来源于stack exchange，提问作者rsc