基于libav(ffmpeg)在Mac上直接解码视频至GPU纹理的技术咨询

完全可以实现你的需求：FFmpeg借助VideoToolbox硬件解码后，能直接输出CoreVideo缓冲区（CVImageBufferRef），并且可以零拷贝转换为Metal纹理，全程无需CPU参与数据传输，完美适配你后续用计算着色器处理的场景。

核心实现逻辑 #

1. 配置FFmpeg启用VideoToolbox硬件加速
   首先要给AVCodecContext绑定VideoToolbox硬件设备，确保解码输出的是硬件内存中的帧：

   AVBufferRef *hw_device_ctx = NULL;
   av_hwdevice_ctx_create(&hw_device_ctx, AV_HWDEVICE_TYPE_VIDEOTOOLBOX, NULL, NULL, 0);
   codec_ctx->hw_device_ctx = av_buffer_ref(hw_device_ctx);
   

   解码后得到的AVFrame格式为AV_PIX_FMT_VIDEOTOOLBOX，其data[0]字段直接指向CVImageBufferRef（需要强制类型转换）。

2. 直接复用CoreVideo缓冲区
   解码得到的CVImageBufferRef本身就是GPU内存中的缓冲区，你可以直接将其用于CoreVideo相关的渲染流程，无需任何拷贝操作：

   AVFrame *frame = av_frame_alloc();
   // 解码逻辑：avcodec_receive_frame(codec_ctx, frame)
   if (frame->format == AV_PIX_FMT_VIDEOTOOLBOX) {
       CVImageBufferRef cv_buffer = (CVImageBufferRef)frame->data[0];
       // 直接使用cv_buffer进行后续处理
   }
   

3. 零拷贝转换为Metal纹理
   通过CVMetalTextureCache可以将CVImageBufferRef直接转换为Metal纹理，数据全程在GPU内存流转：
   首先初始化Metal设备和纹理缓存池：

   id<MTLDevice> metal_device = MTLCreateSystemDefaultDevice();
   CVMetalTextureCacheRef texture_cache = NULL;
   CVMetalTextureCacheCreate(kCFAllocatorDefault, NULL, metal_device, NULL, &texture_cache);
   

   然后在解码循环中转换：

   if (frame->format == AV_PIX_FMT_VIDEOTOOLBOX) {
       CVImageBufferRef cv_buffer = (CVImageBufferRef)frame->data[0];
       CVBufferLockBaseAddress(cv_buffer, 0);
       
       id<MTLTexture> metal_texture = NULL;
       CVMetalTextureRef cv_metal_texture = NULL;
       CVMetalTextureCacheCreateTextureFromImage(kCFAllocatorDefault,
                                                 texture_cache,
                                                 cv_buffer,
                                                 NULL,
                                                 MTLPixelFormatBGRA8Unorm, // 根据视频格式调整
                                                 CVPixelBufferGetWidth(cv_buffer),
                                                 CVPixelBufferGetHeight(cv_buffer),
                                                 0,
                                                 &cv_metal_texture);
       if (cv_metal_texture) {
           metal_texture = CVMetalTextureGetTexture(cv_metal_texture);
           // 此时metal_texture可直接用于计算着色器处理
           CFRelease(cv_metal_texture);
       }
       
       CVBufferUnlockBaseAddress(cv_buffer, 0);
   }
   

关键注意事项 #

• 格式匹配：确保Metal纹理的像素格式与CVImageBuffer的格式一致（比如大部分硬件解码输出是YUV420，需要转成BGRA或直接使用YUV格式的Metal纹理）。
• 资源释放：记得在使用完CVImageBufferRef、CVMetalTextureRef和AVFrame后调用对应释放函数，避免内存泄漏。
• 线程安全：Metal纹理的创建和使用要保证在同一个Metal命令队列的线程上下文里。

内容的提问来源于stack exchange，提问作者GaryO