Fragmented MP4音视频异常求助：音频卡顿/视频冻结

问题根源 #

当音频流时长远大于视频流（如视频<1分钟、音频数分钟）时，FFmpeg默认的音视频交织逻辑无法适配这种极端时间差：Fragmented MP4要求流式播放时音视频时间线严格对齐，而大量超前的音频包会占据交织队列，导致视频包无法及时输出，时间戳同步异常，最终引发播放端的各种错误。

现象拆解 #

1. 无限制音频超前：音频包大量涌入交织队列，超过FFmpeg默认max_interleave_delta阈值，视频包被积压在队列中无法及时输出。播放时，ffplay的视频渲染线程因长时间未收到有效视频帧判定流中断，出现NAL单元错误，而音频流因持续输出保持正常。
2. 过度限制超前量：若手动限制队列长度过严或max_interleave_delta设得太小，音频包未完成与视频包的时间匹配就被拦截/丢弃，无法凑齐可输出的Fragment单元，导致无数据输出。
3. 中度限制超前量：队列限制虽缓解了积压，但音视频时间差仍存在，交织时被迫截断音频帧或丢弃部分包，ffplay读取到不完整的音频数据，触发overread错误，表现为音频卡顿。

可行解决方案 #

1. 基于视频结束时间截断音频流 #

当视频流的EOF（结束帧）被处理后，计算视频的最终时间戳，后续只输入时间戳≤该值的音频数据，直接丢弃超出视频时间范围的音频包。这从根源上避免了音频流无限制超前的问题，符合流式播放的时间线同步要求。

2. 动态调整交织参数 #

不要固定放大max_interleave_delta，而是实时计算音视频包的时间差：

• 维护音视频包的最大时间戳变量，每次输入包后计算两者的差值
• 当差值超过合理阈值（如1秒），暂停音频包输入，直到视频包的时间戳追上，或仅输入与当前视频时间窗口匹配的音频数据
• 结合AVFMT_FLAG_FLUSH_PACKETS配置，确保队列满时及时刷新输出，避免视频包长时间积压

3. 优化输入数据块大小 #

将大尺寸的音频输入块拆分为按时间窗口划分的小块（如每次输入100ms时长的音频数据），避免一次性输入大量音频帧瞬间占满交织队列，让视频包能穿插输出，降低时间戳错位概率。

4. 强制视频关键帧同步输出 #

在交织逻辑中，确保每个输出的Fragment至少包含一个视频关键帧，尤其是视频流结束前的最后一个Fragment必须携带视频结束关键帧。这样ffplay能准确识别视频流的终止，不会因后续音频流持续播放而判定视频冻结。

5. 校验Fragmented MP4配置 #

确认movflags参数设置正确，推荐配置：

av_dict_set(&opts, "movflags", "frag_keyframe+empty_moov+default_base_moof+faststart", 0);

该配置保证生成的Fragmented MP4适合流式播放，且moov原子位置合理，避免播放端解析异常。

验证步骤 #

1. 用音视频时长一致的测试素材验证封装功能，确认基础逻辑正常
2. 逐步增加音频时长，测试动态调整参数后的输出效果，用ffplay播放验证是否无卡顿、冻结
3. 用ffprobe -show_packets output.mp4检查生成文件的音视频包时间戳，确认时间线对齐

内容的提问来源于stack exchange，提问作者PookyFan