FFmpeg解复用/解码后如何正确校验PTS/DTS？

解复用（Demux）阶段校验逻辑 #

你当前的校验逻辑存在两处明显错误，修正后规则如下：

• dts <= pts：规则正确，所有合规码流的解码时间戳必然早于等于显示时间戳，不存在解码时间晚于显示时间的合法场景。
• 原规则prev_packet_dts < next_packet_pts错误，需替换为prev_packet_dts < next_packet_dts。DTS对应解码输入顺序，必须严格单调递增，解码器只能按DTS顺序接收压缩包；而PTS对应显示顺序，在有B帧的码流中不需要随包顺序单调递增，原规则会误杀正常B帧，直接丢包会引发花屏、音画不同步。
• 原规则直接丢弃AV_NOPTS_VALUE包逻辑过于粗暴，长周期流中偶发单包时间戳缺失是常见现象，直接丢包会造成播放中断。正确处理逻辑为：单包缺失时间戳时，参考同路流前一个有效包的时间戳，按当前流时间基、帧率计算固定步长补全时间戳；仅当连续3个以上包缺失时间戳时，才触发时间轴重置，等待下一个带有效时间戳的关键帧重新对齐。

关于你提到的B帧导致PTS不单调的疑问：这是完全正常的现象。码流传输、存储的顺序是解码顺序而非显示顺序，例如典型的IBBP GOP结构，显示顺序为I→B→B→P，传输/解码顺序为I→P→B→B，后收到的B帧PTS必然小于先收到的P帧PTS，属于标准合规表现，不是异常。

解码后AVFrame阶段校验逻辑 #

解码输出的AVFrame已经按显示顺序重排完成，是时间戳校验的最终锚点，针对你的三个疑问逐一说明：

1. AVFrame的pts必须严格单调递增。解码器输出帧的顺序就是显示顺序，一旦出现pts持平、回退，就属于时间戳异常，需要触发校正：丢弃异常帧，直到遇到pts大于最后一个有效显示帧pts的正常帧为止，同时记录时间戳跳变偏移量，避免出现时间断层。
2. pts滞后于dts只有两类合法场景：
   • 码流开启显示重排序（存在B帧）时，解码器需要缓存数帧才能完成重排序输出，此时输出帧的dts是对应压缩包送入解码器的时间戳，会早于当前帧的pts，差值等于解码器重排序缓存的深度，一般是1~3个帧间隔。
   • 长周期运行时32位时间戳计数溢出回绕，此时表面看pts数值小于之前的dts，实际是计数溢出归零导致，需要提前做64位扩位处理修正时间戳，修正后依然满足pts >= dts的规则。
3. pict_type字段设计在AVFrame上，核心原因有两个：
   • demux阶段读取的AVPacket不一定能拿到准确的帧类型：很多封装格式、硬解码场景下，压缩包头不会携带帧类型标记，只有完整解码NALU、解析完帧句法元素后，才能确定当前帧是I/P/B类型，AVPacket层面的帧类型标记不可靠。
   • 解码后的帧可能经过滤镜处理、重编码、帧重排等操作，帧类型可能发生变化，AVPacket里记录的原始压缩帧类型没有实际参考价值，只有AVFrame上的类型是最终用于显示、编码参考的准确值。

长周期运行时间戳稳定性保障建议 #

• 不要以包层面的PTS单调性作为校验标准，仅在解复用阶段校验DTS严格递增，最终以解码后AVFrame的pts严格单调递增作为校验核心。
• 所有时间戳统一转换为64位整数存储计算，提前处理32位时间戳回绕问题，避免数天/数周运行时计数溢出触发误判。
• 维护时间戳异常计数器，单包/单帧时间戳异常优先通过步长推算补全，不要直接丢数据；仅当连续异常超过阈值时，再等待关键帧重置时间轴，降低偶发异常对流播放的影响。

内容的提问来源于stack exchange，提问作者Anton Issaikin