iOS端FFmpeg+VideoToolbox创建H264硬件解码上下文失败求助

你当前的代码存在几个关键问题，导致硬件设备上下文创建和缓冲区引用设置失败，以下是修正方案：

问题点与修正步骤 #

1. 缺失FFmpeg API错误检查 #

所有FFmpeg核心API调用都可能返回错误码，必须在每一步检查返回值，否则无法定位失败原因。比如avcodec_find_decoder_by_name可能找不到解码器，av_hwdevice_ctx_create在iOS环境下可能因配置问题失败。

2. 硬编码像素格式不合理 #

不能直接指定AV_PIX_FMT_VIDEOTOOLBOX，应该先查询解码器支持的硬件加速配置，获取对应的像素格式：

// 查询解码器支持的硬件加速配置
for (int i = 0; ; i++) {
    const AVCodecHWConfig *config = avcodec_get_hw_config(decoder, i);
    if (!config) break;
    if ((config->methods & AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX) && config->device_type == type) {
        pix_fmt = config->pix_fmt;
        break;
    }
}

3. get_format回调设置错误 #

你注释掉的回调设置完全错误，需要自定义回调函数让解码器优先选择硬件像素格式：

static enum AVPixelFormat get_hw_format(AVCodecContext *ctx, const enum AVPixelFormat *pix_fmts) {
    Decoder_Setup *setup = static_cast<Decoder_Setup*>(ctx->opaque);
    while (*pix_fmts != AV_PIX_FMT_NONE) {
        if (*pix_fmts == setup->pix_fmt) {
            return *pix_fmts;
        }
        pix_fmts++;
    }
    return avcodec_default_get_format(ctx, pix_fmts);
}

然后在配置解码器上下文时设置：

decoder_ctx->get_format = get_hw_format;

4. 设备上下文创建与解码器初始化流程错误 #

需要确保在打开解码器前正确关联硬件设备上下文，并且处理可能的创建失败。

修正后的完整代码片段 #

class Decoder_Setup {
private:
    AVCodecContext *decoder_ctx = NULL;
    const AVCodec *decoder = NULL;
    enum AVHWDeviceType type;
    AVBufferRef *buffer_ref = NULL;
    enum AVPixelFormat pix_fmt = AV_PIX_FMT_NONE;
    
    // 自定义硬件格式选择回调
    static enum AVPixelFormat get_hw_format(AVCodecContext *ctx, const enum AVPixelFormat *pix_fmts) {
        Decoder_Setup *setup = static_cast<Decoder_Setup*>(ctx->opaque);
        while (*pix_fmts != AV_PIX_FMT_NONE) {
            if (*pix_fmts == setup->pix_fmt) {
                return *pix_fmts;
            }
            pix_fmts++;
        }
        return avcodec_default_get_format(ctx, pix_fmts);
    }
    
public:
    int set();
    ~Decoder_Setup() {
        // 资源释放
        if (decoder_ctx) {
            avcodec_free_context(&decoder_ctx);
        }
        if (buffer_ref) {
            av_buffer_unref(&buffer_ref);
        }
    }
};

int Decoder_Setup::set() {
    int res = 0;
    type = AV_HWDEVICE_TYPE_VIDEOTOOLBOX;
    
    // 查找H264解码器
    decoder = avcodec_find_decoder_by_name("h264");
    if (!decoder) {
        return -1; // 找不到解码器
    }
    
    // 分配解码器上下文
    decoder_ctx = avcodec_alloc_context3(decoder);
    if (!decoder_ctx) {
        return -2; // 分配上下文失败
    }
    decoder_ctx->opaque = this; // 传递类实例到回调
    
    // 查询支持的硬件加速格式
    for (int i = 0; ; i++) {
        const AVCodecHWConfig *config = avcodec_get_hw_config(decoder, i);
        if (!config) break;
        if ((config->methods & AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX) && config->device_type == type) {
            pix_fmt = config->pix_fmt;
            break;
        }
    }
    if (pix_fmt == AV_PIX_FMT_NONE) {
        return -3; // 不支持该硬件加速格式
    }
    
    // 创建硬件设备上下文
    res = av_hwdevice_ctx_create(&buffer_ref, type, NULL, NULL, 0);
    if (res < 0) {
        avcodec_free_context(&decoder_ctx);
        decoder_ctx = NULL;
        return res; // 创建设备上下文失败
    }
    decoder_ctx->hw_device_ctx = av_buffer_ref(buffer_ref); // 引用设备上下文
    
    // 设置格式选择回调
    decoder_ctx->get_format = get_hw_format;
    
    // 打开解码器
    res = avcodec_open2(decoder_ctx, decoder, NULL);
    if (res < 0) {
        av_buffer_unref(&buffer_ref);
        buffer_ref = NULL;
        avcodec_free_context(&decoder_ctx);
        decoder_ctx = NULL;
        return res; // 打开解码器失败
    }
    
    return 0;
}

额外注意事项 #

• iOS平台编译FFmpeg时，必须确保开启VideoToolbox支持（编译时加上--enable-videotoolbox参数）。
• 解码后的帧是硬件帧（AVFrame->format为pix_fmt），如果需要转成软件帧（比如RGB/YUV），需要使用av_hwframe_transfer_data进行格式转换。
• 所有FFmpeg资源必须在使用完后正确释放，避免内存泄漏。

内容的提问来源于stack exchange，提问作者Jabed Dhali