MP4的mdat box是否可包含AUD？制作时需过滤AUD吗？

核心结论 #

MP4的mdat Box可以包含AUD，制作mdat时不需要强制过滤AUD，是否保留需结合编码规范与播放兼容性需求判断。

详细说明 #

• 容器规范层面：MP4的mdat是存储媒体样本数据的核心容器，只要是H.264/H.265编码流中合法的NAL单元（包括类型9的AUD），都可以被封装进mdat对应的视频样本里。MP4容器规范并未禁止AUD出现在mdat中。
• AUD的合法性：AUD作为H.264标准定义的NAL单元，本身属于编码流的合法组成部分。它的作用是标记访问单元边界、指示后续切片类型，虽无强制解码流程，但能辅助播放器更高效地解析码流，尤其在随机访问、码流拼接场景下有实用价值。
• 与SEI的逻辑一致性：SEI能被包含在mdat中，本质是因为它也是H.264/H.265标准认可的NAL单元——这和AUD的情况完全一致，只要是标准定义的NAL单元，都可以被封装进MP4的媒体样本（即mdat内部）。
• 过滤的考量：不需要强制过滤AUD，但如果目标播放环境包含旧版播放器或低性能设备，部分实现可能存在AUD兼容问题，这种场景下可以选择过滤以最大化兼容性；若需保留码流完整性或利用AUD的辅助解析能力，则可以直接保留。

内容的提问来源于stack exchange，提问作者Kundera