AV_PIX_FMT_CUDA GPU内存像素格式及OpenCV转BGR方法问询

一、AV_PIX_FMT_CUDA是什么？ #

AV_PIX_FMT_CUDA不是具体的像素布局格式，而是FFmpeg用来标记存储在CUDA设备显存中的视频帧的格式标识。实际帧的底层像素格式由硬件解码器决定，H264硬件解码的主流输出是NV12（YUV4:2:0，UV分量交织存储），少数情况是YUV420P（I420，UV分量分开存储）。

你可以通过以下代码获取实际的像素格式：

AVHWFramesContext *hw_frames_ctx = reinterpret_cast<AVHWFramesContext*>(frame->hw_frames_ctx->data);
AVPixelFormat actual_pix_fmt = hw_frames_ctx->sw_format;
// 打印格式名称确认
const char* actual_fmt_name = av_get_pix_fmt_name(actual_pix_fmt);

二、错误代码的问题点 #

你当前的代码存在几个关键错误：

• 误用sw_frame的宽高：应该直接使用GPU帧frame的宽高，sw_frame是CPU帧，和GPU帧无关
• 错误假设像素格式为UYVY：硬件解码H264几乎不会输出UYVY格式，你混淆了CPU帧和GPU帧的格式
• 直接构造CV_8UC2的GpuMat不符合NV12/YUV420P的平面结构

三、正确的GPU端转换流程（避免CPU传输） #

以下是基于NV12格式的完整实现（H264硬件解码主流场景）：

步骤1：确认实际像素格式 #

确保解码器输出的GPU帧实际为NV12格式，代码如上。

步骤2：包装CUDA帧为OpenCV GpuMat #

NV12格式分为两个平面：Y（单通道，全分辨率）、UV（单通道，半分辨率，U和V交织），直接用FFmpeg的CUDA设备指针构造GpuMat（无需内存拷贝，直接映射显存）：

// 构造Y平面GpuMat
cv::cuda::GpuMat gpu_y(frame->height, frame->width, CV_8UC1, frame->data[0]);
// 构造UV平面GpuMat（高度为Y的1/2）
cv::cuda::GpuMat gpu_uv(frame->height / 2, frame->width, CV_8UC2, frame->data[1]);

步骤3：CUDA端完成NV12到BGR的格式转换 #

使用OpenCV CUDA的cvtColorTwoPlane函数，直接在显存内完成格式转换，全程无CPU传输：

cv::cuda::GpuMat gpu_bgr;
cv::cuda::cvtColorTwoPlane(gpu_y, gpu_uv, gpu_bgr, cv::COLOR_YUV2BGR_NV12);

步骤4：（可选）下载到CPU显示 #

如果需要用cv::imshow显示，必须将BGR帧从显存下载到CPU内存（这是imshow的硬性要求）：

cv::Mat cpu_bgr;
gpu_bgr.download(cpu_bgr);
cv::imshow("GPU Decoded Image", cpu_bgr);
cv::waitKey(1);

四、如果实际格式是YUV420P（I420） #

若硬件解码器输出YUV420P格式，需处理三个平面（Y、U、V，均为单通道，U/V高度为Y的1/2），使用cvtColorThreePlane转换：

cv::cuda::GpuMat gpu_y(frame->height, frame->width, CV_8UC1, frame->data[0]);
cv::cuda::GpuMat gpu_u(frame->height / 2, frame->width / 2, CV_8UC1, frame->data[1]);
cv::cuda::GpuMat gpu_v(frame->height / 2, frame->width / 2, CV_8UC1, frame->data[2]);

cv::cuda::GpuMat gpu_bgr;
cv::cuda::cvtColorThreePlane(gpu_y, gpu_u, gpu_v, gpu_bgr, cv::COLOR_YUV2BGR_I420);

注意事项 #

• 确保FFmpeg的CUDA解码环境初始化正确：需提前创建CUDA设备上下文（AVHWDeviceContext）并关联到解码器
• 内存生命周期：GpuMat只是包装了FFmpeg的CUDA设备指针，所以在使用GpuMat期间，不能释放对应的AVFrame，否则会导致内存访问错误
• 格式兼容性：不同GPU硬件的解码输出格式可能有差异，建议先通过actual_pix_fmt动态判断处理

内容的提问来源于stack exchange，提问作者cyw