基于Metal实现CVPixelBuffer的YUV格式互转技术咨询

核心原则 #

实时视频处理的核心是低延迟+GPU高效利用，所有实现都要围绕「减少内存拷贝、贴合Metal并行特性、平衡画质与性能」展开，直接操作CVPixelBuffer对应的Metal纹理是性能基础。

一、YUV422 → YUV420 下采样 #

实时场景优先采用垂直均值采样，比直接跳过像素的方案更能避免竖条纹，且计算量极小，适配GPU并行处理特性。

• Metal实现要点：
  1. 用CVMetalTextureCacheCreateTextureFromImage直接将CVPixelBuffer的Y平面、UV平面绑定为Metal纹理，彻底避免内存拷贝
  2. 编写计算着色器，每个输出UV像素对应输入的2行UV像素，取均值输出：

     kernel void yuv422ToYuv420(texture2d<float, access::read> uvTexture [[texture(0)]],
                                texture2d<float, access::write> outputUVTexture [[texture(1)]],
                                uint2 gid [[thread_position_in_grid]]) {
         float2 inputUVCoord = float2(gid.x, gid.y * 2);
         float2 uv1 = uvTexture.read(inputUVCoord);
         float2 uv2 = uvTexture.read(inputUVCoord + float2(0, 1));
         float2 avgUV = (uv1 + uv2) * 0.5;
         outputUVTexture.write(avgUV, gid);
     }
     

  3. 若需更好抗锯齿效果（如直播场景），可在均值计算前对横向相邻UV像素做3x1核加权，计算量增加有限，画质提升明显
  4. 线程组选择16x16或32x32，匹配GPU warp调度大小，最大化并行效率

二、YUV420/YUV422 → YUV4444 上采样 #

实时场景优先用双线性插值，平衡画质与性能；仅专业级视频场景才考虑三次插值（计算量为线性插值的4倍）。

• Metal实现要点：
  1. 同样直接绑定CVPixelBuffer的Y、UV平面为Metal纹理，注意UV纹理分辨率是Y纹理的1/2（YUV420）或横向1/2（YUV422）
  2. 编写片段着色器，利用Metal硬件内置的线性插值采样：

     fragment float4 yuvToYuv4444(float2 texCoord [[texturecoord(0)]],
                                  texture2d<float> yTexture [[texture(0)]],
                                  texture2d<float> uvTexture [[texture(1)]],
                                  sampler linearSampler [[sampler(0)]]) {
         float y = yTexture.sample(linearSampler, texCoord).r;
         float2 uvScale = float2(uvTexture.get_width() / (float)yTexture.get_width(),
                                 uvTexture.get_height() / (float)yTexture.get_height());
         float2 uvCoord = texCoord * uvScale;
         float2 uv = uvTexture.sample(linearSampler, uvCoord).rg;
         return float4(y, uv.r, uv.g, 1.0);
     }
     

  3. 采样器设置为sampler(filter::linear, address::clamp_to_edge)，让GPU硬件自动完成插值，比手动实现更高效
  4. 若用三次插值，需手动实现4x4采样加权，建议将计算逻辑放在计算着色器中，避免片段着色器性能瓶颈

三、实时场景通用优化技巧 #

• 杜绝内存拷贝：全程用CVMetalTextureCache操作CVPixelBuffer，不要将帧数据拷贝到CPU再转GPU，这是实时性能的核心保障
• 匹配原生格式：选择Metal支持的原生YCbCr格式（如MTLPixelFormatYCbCr422_8BiPlanarFullRange），避免额外格式转换开销
• 复用资源：全局复用Metal命令队列、纹理缓存、采样器，避免每次创建销毁的开销
• 动态调整线程组：根据当前设备MTLDevice.maxThreadsPerThreadgroup值调整线程组大小，Apple Silicon设备建议用32x32，老设备用16x16
• 批量提交命令：视频流处理时批量提交多帧转换命令，让GPU持续满载，提升整体吞吐量

内容的提问来源于stack exchange，提问作者Deepak Sharma