FFmpeg中av_seek_frame()导致视频Seek功能卡顿问题排查

我正在开发一款基于FFmpeg的视频播放器，需要实现Seek功能。编写了如下Seek函数，并在一段时长2.8秒的视频上进行测试：

static void seek_to(AVFormatContext* fmt, int64_t pos)
{
    AVStream* stream = fmt->streams[0];
    int64_t   seek_pos = pos;
    int       seek_flags;

    if (fmt->duration == AV_NOPTS_VALUE)
        seek_flags = AVSEEK_FLAG_FRAME;
    else
        seek_flags = AVSEEK_FLAG_BACKWARD;

    AVRational time_base = { 1, AV_TIME_BASE };

    int64_t seek_target = seek_flags == AVSEEK_FLAG_BACKWARD ?
            av_rescale_q(seek_pos, time_base, stream->time_base) : seek_pos;

    int ret = av_seek_frame(fmt, 0, seek_target, seek_flags);

    if (ret < 0)
    {
        // log the error...
    }

    ...

    // perform some tasks like flushing the decoder(s) by calling the mp_decode_flush() function
}

我确认传入的pos参数为微秒级（符合AV_TIME_BASE的格式要求，且与格式上下文暴露的时长匹配，已反复校验），取值在0到视频总时长之间。

测试结果显示，Seek功能虽能运行，但卡顿严重，仿佛视频仅有3个可定位位置（0、1/3和2/3总时长），无法实现平滑精准的定位。

我怀疑存在时间转换问题（比如最终值误设为秒而非微秒），但未能定位错误点。我的假设如下：

• 确实存在转换问题，但我已反复校验取值范围和时间基转换，问题可能出在FFmpeg侧；
• FFmpeg库对短时长视频支持不佳，需更长视频才能正常工作；
• 我的实现方式有误，可能采用了不合适的Seek方案。

请问上述假设是否正确，或存在其他导致Seek功能异常的原因？是否有开发者遇到过类似问题并解决？

问题分析与解决方案 #

你的核心问题大概率是Seek标志位使用不当，以及对FFmpeg Seek机制的理解偏差，和短时长视频本身无关，也不是FFmpeg的兼容性问题。

1. 关于你的假设的验证

• 假设1不成立：时间转换逻辑本身没问题，av_rescale_q的参数是对的，微秒转流时间基的计算是正确的。
• 假设2不成立：FFmpeg对短时长视频的Seek支持没有特殊限制，问题出在你的实现逻辑。
• 假设3成立：你的Seek方案确实存在不合理之处。

2. 关键问题点

• AVSEEK_FLAG_BACKWARD的误用：这个标志的作用是让FFmpeg定位到小于等于目标时间戳的最近关键帧。如果你的测试视频关键帧间隔很大（比如2.8秒的视频只有3个关键帧：开头、1/3处、2/3处），就会出现只能定位到这几个点的情况——因为非关键帧无法直接Seek，必须从前面的关键帧开始解码到目标位置。
• 缺少必要的Seek标志组合：仅用AVSEEK_FLAG_BACKWARD会强制跳转到最近的前向关键帧，而如果想要更精准的定位，需要结合AVSEEK_FLAG_ANY（允许Seek到非关键帧位置，FFmpeg会自动从最近关键帧解码到目标点），或者AVSEEK_FLAG_FRAME（仅当你明确按帧索引Seek时使用）。
• 解码器刷新后的处理缺失：你提到调用了mp_decode_flush()，但刷新后需要重新读取数据包并解码，直到到达目标时间戳的帧，而不是直接继续播放——否则会出现卡顿或播放旧帧的情况。

3. 修正后的Seek实现建议

static void seek_to(AVFormatContext* fmt, int64_t pos)
{
    AVStream* stream = fmt->streams[0];
    int seek_flags = AVSEEK_FLAG_BACKWARD | AVSEEK_FLAG_ANY; // 组合标志，允许精准定位

    // 微秒转流时间基的计算保持不变
    AVRational time_base = {1, AV_TIME_BASE};
    int64_t seek_target = av_rescale_q(pos, time_base, stream->time_base);

    // 调用av_seek_frame，传-1表示自动选择最佳流（同步音视频）
    int ret = av_seek_frame(fmt, -1, seek_target, seek_flags);
    if (ret < 0)
    {
        // 错误处理
        return;
    }

    // 刷新所有解码器缓存
    mp_decode_flush();

    // 关键步骤：重新读取数据包，解码直到目标时间戳的帧
    AVPacket pkt;
    AVFrame* frame = av_frame_alloc();
    int64_t target_pts = av_rescale_q(pos, time_base, stream->time_base);
    while (av_read_frame(fmt, &pkt) >= 0)
    {
        if (pkt.stream_index == stream->index)
        {
            int decode_ret = avcodec_send_packet(stream->codec, &pkt);
            if (decode_ret >= 0)
            {
                while (avcodec_receive_frame(stream->codec, frame) >= 0)
                {
                    // 检查当前帧的PTS是否达到或超过目标值
                    if (frame->pts >= target_pts)
                    {
                        // 保存当前帧作为Seek后的起始帧
                        av_packet_unref(&pkt);
                        av_frame_unref(frame);
                        av_frame_free(&frame);
                        return;
                    }
                    av_frame_unref(frame);
                }
            }
        }
        av_packet_unref(&pkt);
    }
    av_frame_free(&frame);
}

4. 额外注意事项

• 检查测试视频的关键帧间隔：可以用ffprobe -show_frames -select_streams v input.mp4查看视频的关键帧分布，如果关键帧间隔确实很大，即使Seek逻辑正确，也需要等待解码到目标帧（但不会出现只能定位几个点的情况，只是会有短暂的解码延迟）。
• 避免仅按单一流Seek：用av_seek_frame的第二个参数传-1，让FFmpeg自动同步音频和视频流，否则会出现音视频不同步的问题。
• 确保解码器刷新彻底：mp_decode_flush()内部需要调用avcodec_flush_buffers()清空解码器的内部缓存，否则旧帧会干扰Seek后的播放。

内容的提问来源于stack exchange，提问作者Jean-Milost Reymond