FFmpeg解码DVR摄像头RAW H264流出现画面失真/灰屏问题咨询

我之前在处理H264裸流解码时也碰到过一模一样的问题——VLC能正常播放，但用FFmpeg的decode_video.c示例解码就出现灰屏或画面失真。结合我的踩坑经验，大概率是裸流缺少容器头导致FFmpeg自动识别失败，或者解码流程中SPS/PPS的处理环节出了问题，下面给你几个针对性的解决方向：

1. 手动指定输入格式（最常见的解决方法） #

H264裸流没有容器封装信息，FFmpeg的avformat_open_input有时候无法自动识别流格式，导致解析出的流参数错误。你需要在打开输入时手动指定格式为h264：

AVFormatContext *fmt_ctx = NULL;
// 手动指定H264输入格式
AVInputFormat *input_fmt = av_find_input_format("h264");
int ret = avformat_open_input(&fmt_ctx, "test.h264", input_fmt, NULL);
if (ret < 0) {
    fprintf(stderr, "Could not open input file: %s\n", av_err2str(ret));
    return ret;
}

如果你的代码是直接读取裸流数据（不是通过avformat系列接口），那在初始化解码器时，也要确保正确传入SPS/PPS作为解码器的参数。

2. 确保SPS/PPS被正确发送给解码器 #

H264解码必须依赖SPS（序列参数集）和PPS（图像参数集）来初始化解码器。如果你的裸流里SPS/PPS不是位于流的最开头，或者代码中没有先发送这些NAL单元给解码器，就会出现解码异常。

你可以在解码循环前，先遍历流中的NAL单元，把类型为SPS（NALU类型7）和PPS（NALU类型8）的数据包先发送给解码器：

// 假设你已经获取到了AVPacket pkt
while (av_read_frame(fmt_ctx, &pkt) >= 0) {
    if (pkt.stream_index == video_stream_idx) {
        uint8_t nal_type = pkt.data[0] & 0x1F;
        // 先发送SPS和PPS
        if (nal_type == 7 || nal_type == 8) {
            ret = avcodec_send_packet(codec_ctx, &pkt);
            if (ret < 0) {
                fprintf(stderr, "Error sending SPS/PPS packet: %s\n", av_err2str(ret));
                av_packet_unref(&pkt);
                break;
            }
        } else {
            // 处理普通视频帧
            ret = avcodec_send_packet(codec_ctx, &pkt);
            if (ret < 0) {
                fprintf(stderr, "Error sending packet: %s\n", av_err2str(ret));
                av_packet_unref(&pkt);
                continue;
            }
            // 接收解码后的帧
            while (ret >= 0) {
                ret = avcodec_receive_frame(codec_ctx, frame);
                if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
                    break;
                } else if (ret < 0) {
                    fprintf(stderr, "Error receiving frame: %s\n", av_err2str(ret));
                    goto end;
                }
                // 处理解码后的frame（比如保存或显示）
                av_frame_unref(frame);
            }
        }
    }
    av_packet_unref(&pkt);
}

3. 用FFmpeg命令行先验证流的有效性 #

先通过命令行测试你的test.h264文件是否能被FFmpeg正常解码，这能帮你排除流本身的问题：

# 用ffplay直接播放
ffplay test.h264

# 或者解码为YUV原始视频
ffmpeg -i test.h264 -c:v rawvideo test.yuv

如果命令行能正常播放/解码，那说明你的代码流程有问题，建议对照FFmpeg命令行的处理逻辑（可以加-v debug参数看详细日志），检查代码中是否遗漏了关键步骤。

4. 检查解码器初始化参数 #

确保你是从AVStream的codecpar中正确拷贝参数到解码器上下文，而不是手动设置错误的参数：

AVCodecParameters *codec_par = fmt_ctx->streams[video_stream_idx]->codecpar;
AVCodec *codec = avcodec_find_decoder(codec_par->codec_id);
AVCodecContext *codec_ctx = avcodec_alloc_context3(codec);
// 拷贝参数到解码器上下文
int ret = avcodec_parameters_to_context(codec_ctx, codec_par);
if (ret < 0) {
    fprintf(stderr, "Failed to copy codec parameters: %s\n", av_err2str(ret));
    return ret;
}
// 打开解码器
ret = avcodec_open2(codec_ctx, codec, NULL);
if (ret < 0) {
    fprintf(stderr, "Could not open codec: %s\n", av_err2str(ret));
    return ret;
}

按照上面的步骤排查，应该能解决你遇到的画面失真或灰屏问题。

内容的提问来源于stack exchange，提问作者Hudson Cavazin