基于FFmpeg的H264实时编解码流程中解码端出现花屏的问题排查
H264编解码花屏问题根因与修复方案
核心代码硬伤(按触发概率从高到低排序)
- AVFrame指针复用冲突:编码环节分配的、用来存储原始YUV输入的
frame,被直接当解码输出帧的缓冲区传给了saveInFile函数。这个帧的内存是编码上下文绑定的编码输入缓冲,后续还要被av_frame_free释放,解码器往这个地址写解码数据的时候,会直接覆盖原始YUV内容,同时解码器内部存储的参考帧引用会变成野指针,直接导致全画面结构错乱。 - B帧配置与低延迟解码逻辑不匹配:编码器同时开了
zerolatency低延迟模式、又设置了max_b_frames = 1。B帧需要依赖后续帧的参考才能完成解码,当前解码逻辑是每发一个packet就立刻调用一次avcodec_receive_frame,遇到返回EAGAIN就直接退出,根本等不到B帧对应的参考帧凑齐,落盘拿到的要么是未解码完成的残留数据,要么是上一帧的残留内存,必然出现花屏。 - YUV数据拷贝忽略行步长:当前YUV分量拷贝逻辑是一次性整块memcpy,没有考虑FFmpeg为了内存对齐,给AVFrame每一行数据预留的padding填充区。即使输入的YUV是连续内存,目标AVFrame的
linesize(行步长)往往大于实际像素宽度,直接整块拷贝会导致每行数据偏移错位,从第一行开始就出现斜向条纹、结构错乱。 - 解码器参数硬设错配:解码器初始化时手动设置的
time_base = (AVRational) {40, 1000}、framerate = (AVRational) {1000, 40}完全和编码器参数反向不匹配。H264解码器根本不需要手动设置时间基、帧率、像素格式,这些参数完全可以从码流携带的SPS/PPS头自动解析,手动硬设反而会干扰解码器的参考帧识别逻辑。 - Packet引用未及时清理:全局复用的
h264_out_pic2接收编码输出后,解码环节完成没有调用av_packet_unref清理残留内存。下一次接收新编码数据时,旧的码流残留会随着新packet一起送进解码器,导致码流解析错误。
对应修复要点
- 给解码环节单独分配独立的AVFrame实例,绝对不能和编码输入帧共用内存:初始化解码上下文时单独申请一个专用的解码输出帧,所有
avcodec_receive_frame操作都往这个独立帧写数据,落盘完成后调用av_frame_unref清理帧引用,彻底避免和编码输入帧的内存混用。 - 实时低延迟场景下将
vc->h264_encoder_ctx->max_b_frames = 0,完全关闭B帧,保证每个输出packet都能立刻解码,和zerolatency配置逻辑匹配,不需要等待后续参考帧凑齐。 - YUV分量拷贝严格按行步长逐行操作,替换原来的整块memcpy逻辑:
// 逐行拷贝Y分量 for (int i = 0; i < height; i++) { memcpy(frame->data[0] + i * frame->linesize[0], y + i * width, width); } // 逐行拷贝U、V分量 for (int i = 0; i < height/2; i++) { memcpy(frame->data[1] + i * frame->linesize[1], u + i * width/2, width/2); memcpy(frame->data[2] + i * frame->linesize[2], v + i * width/2, width/2); } - 删除解码器初始化时所有手动设置的时间基、帧率、像素格式、延迟参数,交给FFmpeg从码流头自动解析,避免参数错配。
- 每次解码完成后,对传入的AVPacket调用
av_packet_unref清理残留引用,再准备接收下一组编码输出数据。 - 调整解码读取逻辑:send完packet之后,循环调用
avcodec_receive_frame直到返回AVERROR(EAGAIN),确保所有可解码的帧都被完整读取,不会因为单次receive返回EAGAIN就直接丢弃待解码数据。
内容的提问来源于stack exchange,提问作者Алекс Аникей
相关产品推荐
相关产品推荐

