FFmpeg QSV硬解码成功但AVFrame的hw_frames_ctx为空及D3D11渲染疑问

问题解答 #

1. 硬解码成功时，hw_frames_ctx字段是否会为空？ #

正常情况下不会。如果是QSV硬解码输出的硬件帧，AVFrame->format应当为AV_PIX_FMT_QSV，且hw_frames_ctx必须非空——它是FFmpeg管理硬件帧池的核心上下文。如果该字段为空，说明解码器实际输出的是软件帧（比如自动回退到软解码，或解码后自动将硬件帧拷贝到系统内存），你观察到的GPU占用可能只是QSV初始化过程产生的负载，而非实际解码工作。

2. 它是否代表GPU上的纹理句柄？ #

不是。hw_frames_ctx是FFmpeg封装的硬件帧池上下文，内部包含QSV的surface池、设备关联等元数据。要获取D3D11纹理句柄，需要从其嵌套结构中提取：

1. 将hw_frames_ctx转换为AVHWFramesContext*
2. 取出hwctx字段转换为AVQSVFramesContext*
3. 通过QSV原生API（如MFXVideoSurface_GetHandle）将其中的surface句柄转换为D3D11的ID3D11Texture2D*指针。

3. 如何正确使用D3D11渲染该AVFrame？ #

直接用QSV硬件帧进行D3D11渲染，核心是让QSV设备与D3D11设备共享资源，步骤如下：

• 绑定D3D11设备创建QSV上下文：
  不要用"auto"自动创建QSV设备，手动初始化D3D11设备后，通过av_hwdevice_ctx_create的参数将D3D11设备句柄传递给QSV，确保两者资源互通。
• 提取D3D11纹理句柄：
  确认AVFrame->format为AV_PIX_FMT_QSV后，从frame->hw_frames_ctx中获取对应的QSV surface，再转换为D3D11纹理指针。
• D3D11管线渲染：
  将获取到的纹理作为输入，通过D3D11渲染管线绘制到窗口。

代码问题修复 #

1. 解决get_format未执行的问题 #

• 确保解码器名称为"h264_qsv"或"hevc_qsv"（对应硬解码器），而非软解码器名称。
• 修正opaque类型错误：定义包含硬件设备上下文的结构体，传递正确的指针，避免类型强制转换导致的未定义行为。
• 强制解码器使用硬件像素格式，触发get_format调用。

修正后的初始化片段：

typedef struct {
    AVBufferRef *hw_device_ctx;
} DecodeContext;

// 创建并初始化上下文结构体
DecodeContext *decode_ctx = av_mallocz(sizeof(DecodeContext));
decode_ctx->hw_device_ctx = hw_device_ctx;

decoder_ctx = avcodec_alloc_context3(codec);
// ... 其他初始化逻辑
decoder_ctx->codec_id = AV_CODEC_ID_H264;
decoder_ctx->opaque = decode_ctx; // 传递正确的结构体指针
decoder_ctx->get_format = get_format;
decoder_ctx->pix_fmt = AV_PIX_FMT_QSV; // 强制使用硬件格式

2. 确保输出硬件帧 #

在avcodec_receive_frame后，检查frame->format是否为AV_PIX_FMT_QSV，若不是则说明解码器回退到软解，需排查设备创建或解码器初始化的错误。

3. 提取D3D11纹理示例代码 #

if (frame->format == AV_PIX_FMT_QSV) {
    AVHWFramesContext *frames_ctx = (AVHWFramesContext*)frame->hw_frames_ctx->data;
    AVQSVFramesContext *qsv_frames_ctx = (AVQSVFramesContext*)frames_ctx->hwctx;
    // data[3]存储的是当前帧对应的surface索引
    mfxFrameSurface1 *surface = &qsv_frames_ctx->surfaces[frame->data[3]];

    mfxHandleType handle_type;
    ID3D11Texture2D *d3d_texture = NULL;
    MFXVideoSurface_GetHandle(surface, &handle_type, (mfxHDL)&d3d_texture);

    // 此处可使用d3d_texture进行D3D11渲染
}

内容的提问来源于stack exchange，提问作者mercuric taylor