基于FFmpeg的C++转换器实现全I帧视频的技术问询

嘿，我刚好在FFmpeg项目里处理过全I帧视频生成的需求，这就给你梳理清楚实现思路和踩过的坑：

你提到的把P/B帧和依赖I帧合并生成新I帧，本质上不能直接通过合并原始AVPacket数据实现——因为P/B帧是差分压缩数据，必须先解码成完整的像素帧（AVFrame），再重新编码为独立的I帧。FFmpeg提取所有帧为JPG的命令ffmpeg -i video.mp4 output%4d.jpg就是这个逻辑：解码每帧后，把它们都存成I帧格式的图片。

对应到你的需求，我们需要把HLS流解码后，将每一个像素帧都编码为I帧，再封装成MP4，这样输出的视频就只有I帧，能实现完美的正反向Seek。

1. 初始化解码与编码上下文 #

• 解码端：正常初始化HLS流的输入上下文（AVFormatContext），找到视频流对应的解码器，打开解码器上下文（AVCodecContext）。
• 编码端：创建新的编码器上下文，选择和输入匹配的编码器（比如H.264用libx264），然后强制设置全I帧参数：

  AVCodecContext* enc_ctx = avcodec_alloc_context3(encoder);
  enc_ctx->codec_id = AV_CODEC_ID_H264;
  enc_ctx->width = dec_ctx->width;
  enc_ctx->height = dec_ctx->height;
  enc_ctx->pix_fmt = dec_ctx->pix_fmt;
  enc_ctx->framerate = dec_ctx->framerate;
  enc_ctx->time_base = av_inv_q(enc_ctx->framerate);
  // 关键参数：GOP大小为1，即每帧都是I帧
  enc_ctx->gop_size = 1;
  // 禁用B帧
  enc_ctx->max_b_frames = 0;
  // 设置全局头，适配MP4封装
  enc_ctx->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
  

  记得打开编码器上下文。

2. 解码HLS流的所有帧 #

循环读取HLS流的AVPacket，发送到解码器，接收解码后的AVFrame：

AVPacket pkt;
AVFrame* frame = av_frame_alloc();
while (av_read_frame(fmt_ctx, &pkt) >= 0) {
    if (pkt.stream_index == video_stream_idx) {
        // 发送数据包到解码器
        avcodec_send_packet(dec_ctx, &pkt);
        // 接收解码后的帧
        while (avcodec_receive_frame(dec_ctx, frame) == 0) {
            // 处理解码后的帧（下一步编码）
            process_frame(frame, enc_ctx, out_fmt_ctx);
        }
    }
    av_packet_unref(&pkt);
}
// 刷新解码器，处理剩余帧
avcodec_send_packet(dec_ctx, nullptr);
while (avcodec_receive_frame(dec_ctx, frame) == 0) {
    process_frame(frame, enc_ctx, out_fmt_ctx);
}

3. 将解码帧编码为I帧数据包 #

对每个解码后的AVFrame，强制标记为I帧，然后发送到编码器：

void process_frame(AVFrame* frame, AVCodecContext* enc_ctx, AVFormatContext* out_fmt_ctx) {
    // 强制标记当前帧为I帧
    frame->pict_type = AV_PICTURE_TYPE_I;
    // 发送帧到编码器
    avcodec_send_frame(enc_ctx, frame);
    
    AVPacket enc_pkt;
    av_packet_unref(&enc_pkt);
    while (avcodec_receive_packet(enc_ctx, &enc_pkt) == 0) {
        // 转换时间戳到输出流的时间基
        av_packet_rescale_ts(&enc_pkt, enc_ctx->time_base, out_fmt_ctx->streams[0]->time_base);
        enc_pkt.stream_index = 0;
        // 写入封装器
        av_interleaved_write_frame(out_fmt_ctx, &enc_pkt);
        av_packet_unref(&enc_pkt);
    }
}

4. 封装为MP4文件 #

初始化输出的AVFormatContext，设置为MP4格式，添加视频流，写入文件头，然后写入所有编码后的数据包，最后写入文件尾。

• 时间戳的正确转换：解码后的帧时间基是解码器的时间基，编码后的数据包需要转换为输出封装器的时间基，用av_packet_rescale_ts处理，否则输出视频会出现播放速度异常或时间轴错乱。
• 内存资源的释放：每次处理完AVPacket和AVFrame后，必须调用av_packet_unref和av_frame_unref释放资源，尤其是HLS流有大量分段，内存泄漏会导致程序崩溃。
• 编码器参数匹配：编码器的分辨率、像素格式、帧率必须和输入流一致，如果需要调整（比如输入是YUV420P，编码器需要其他格式），要先用sws_scale做像素格式转换。
• HLS流的不连续性处理：HLS分段可能存在时间戳不连续的情况，解码时要检测AVStream的discontinuity标记，调整帧的时间戳偏移，避免输出视频的时间轴断裂。
• 全局头的正确设置：MP4封装要求全局头，所以编码器和输出封装器都要设置对应的GLOBAL_HEADER标记，否则播放时会出现无法Seek或者播放器报错的问题。

如果你想先验证效果，可以用FFmpeg命令行快速生成全I帧MP4：

ffmpeg -i input.hls -c:v libx264 -g 1 -bf 0 output.mp4

其中-g 1设置GOP大小为1（全I帧），-bf 0禁用B帧，和代码逻辑完全一致，你可以先确认输出是否符合需求，再对应到C++代码实现。

内容的提问来源于stack exchange，提问作者Eugene Alexeev