自定义生成fmp4片段的纯音频HLS播放段间跳音问题如何解决？

问题内容 #

以下是我的HLS播放列表：

• chunky.m3u8

我可以通过VLC正常拉流播放该链接，但在每段10秒分片的衔接处会听到细微的音频错误，类似“跳音”的卡顿。

我的初始化分片如下：

• chunky-128k-IS.mp4

我先通过ffmpeg编码生成AAC音频，再使用java mp4parser仅将媒体片段写入.m4s文件，生成的fmp4分片如下：

• chunky-128k-163840683.m4s
• chunky-128k-163840684.m4s
• chunky-128k-163840685.m4s
• chunky-128k-163840686.m4s
• chunky-128k-163840687.m4s
• chunky-128k-163840688.m4s

我整理了该分片制作流程的详细实验笔记可自行查阅。

以下是ffprobe chunky.m3u8的执行输出结果：

[hls @ 0x55fd1ae10f00] Skip ('#EXT-X-VERSION:7')
[hls @ 0x55fd1ae10f00] Opening 'chunky-128k-IS.mp4' for reading
[hls @ 0x55fd1ae10f00] Opening 'chunky-128k-163840683.m4s' for reading
Input #0, hls, from 'chunky.m3u8':
  Duration: 00:01:00.00, start: 0.000000, bitrate: 0 kb/s
  Program 0 
    Metadata:
      variant_bitrate : 0
    Stream #0:0: Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 128 kb/s
    Metadata:
      variant_bitrate : 0
      major_brand     : iso5
      minor_version   : 1
      compatible_brands: isomiso5dash
      creation_time   : 2021-12-02T00:21:18.000000Z

疑问点

相关资料提到「基于MDCT的编码格式如AAC、MP3会对多个相邻帧执行变换运算」，想咨询这种单独生成媒体分片的场景下，跳音问题是否是AAC/MP3音频的固有特性导致无法解决？如果必须单独生成分片，是否需要改用MPEG-2 TS分片方案？该方案能否解决跳音问题？

解答 #

跳音不是AAC/MP3的固有特性，完全可以解决。
MDCT的帧重叠特性确实要求解码时需要前后帧的重叠样本才能还原出完整的音频，但只要分片逻辑适配这个特性就不会出现问题：

1. 如果是整段音频统一编码完成后再切割分片：只要切割点对齐完整的AAC帧边界，保证前后分片的PTS/DTS完全连续，没有丢帧、重叠帧或者时间戳断层，就不会出现跳音。你当前的问题大概率是用mp4parser切割时，fmp4分片的trun/sidx盒里的样本时长、偏移计算错误，或者切割点没有对齐AAC帧边界导致的。
2. 如果是必须分进程单独编码每个分片（比如实时直播场景）：只需要在编码时做简单的适配即可——编码前一个分片时保留最后1-2帧的重叠数据，传给下一个分片的编码器作为前置参考帧，编码完成后再把重复的前置帧从分片里去掉，就能保证跨分片的MDCT重叠样本完整，不会出现跳音。

不需要改用MPEG-2 TS分片方案，换封装格式解决不了根本问题。MPEG-TS和fmp4都只是封装容器，和AAC编码的帧重叠特性没有关系，如果你的编码/切割逻辑有问题，就算换成TS封装，分片衔接处一样会有跳音。

排查建议：可以用ffmpeg直接把你编码好的完整AAC音频转成HLS fmp4分片，对比ffmpeg生成的分片和你自己生成的分片的结构、时间戳参数，很快就能定位到封装逻辑里的错误。

内容的提问来源于stack exchange，提问作者Nick Charney Kaye