从CVPixelBuffer创建MTLTexture实时处理时直方图锯齿问题排查

核心原因 #

1. 实时采集数据无编码平滑处理：AVCaptureDevice输出的是8位原始/轻压缩帧（如kCVPixelFormatType_422YpCbCr8、kCVPixelFormatType_32BGRA），没有像ProRes录制那样加入**抖动（dithering）**或gamma优化，像素值离散化严重，导致直方图出现明显台阶状锯齿。而AVPlayer播放的ProRes文件在录制阶段已通过编码添加抖动，让低比特深度的数据分布更平滑。
2. 格式转换时的精度丢失：
   • 使用CIRenderDestination转rgba32Float时，直接将8位离散值映射到浮点范围，未做插值或抖动处理，保留了原始的台阶感。
   • 用CVMetalTextureCacheCreateTextureFromImage绑定8位纹理后，若Metal采样器使用最近邻滤波，会进一步放大离散区间的问题。

解决办法 #

1. 给实时采集帧添加抖动处理（最有效） #

在将CVPixelBuffer转为MTLTexture后，通过Metal着色器给像素添加轻微抖动，打散离散的像素值。示例片段着色器：

fragment half4 dither_fragment(VertexOut in [[stage_in]],
                               texture2d<half, access::sample> sourceTexture [[texture(0)]]) {
    half4 color = sourceTexture.sample(sampler, in.texCoord);
    // 随机抖动（幅度对应1/255，适配8位数据范围）
    float noise = fract(sin(dot(in.texCoord.xy, float2(12.9898, 78.233))) * 43758.5453);
    color += noise * 0.0039215686;
    return color;
}

也可以替换为4x4有序抖动矩阵，效果更可控。

2. 优化格式转换与采样逻辑 #

• 使用CVMetalTextureCacheCreateTextureFromImage时，给Metal采样器开启线性滤波，让采样时自动对相邻像素插值：

  const sampler linearSampler(mag_filter::linear, min_filter::linear);
  

• 使用CIRenderDestination前，先通过CIDither滤镜预处理帧：

  CIImage *inputImage = [CIImage imageWithCVPixelBuffer:pixelBuffer];
  CIFilter *ditherFilter = [CIFilter filterWithName:@"CIDither"];
  [ditherFilter setValue:inputImage forKey:kCIInputImageKey];
  CIImage *ditheredImage = ditherFilter.outputImage;
  // 将处理后的ditheredImage渲染到CIRenderDestination的MTLTexture
  

3. 采集更高比特深度的视频帧 #

部分设备支持10位甚至12位的视频格式（如kCVPixelFormatType_422YpCbCr10），直接采集高比特数据能从根源减少离散化问题：

AVCaptureVideoDataOutput *videoOutput = [[AVCaptureVideoDataOutput alloc] init];
NSArray *availableFormats = [videoOutput availableVideoPixelFormatsForAssetWriterWithOutputFileType:AVFileTypeQuickTimeMovie];
for (NSNumber *format in availableFormats) {
    OSType formatType = [format unsignedIntValue];
    if (formatType == kCVPixelFormatType_422YpCbCr10) {
        videoOutput.videoSettings = @{(id)kCVPixelBufferPixelFormatTypeKey: format};
        break;
    }
}

4. 对直方图结果做平滑处理 #

在直方图计算完成后，用Metal着色器对直方图纹理做3x3加权平均，弱化锯齿感：

fragment half smooth_histogram_fragment(VertexOut in [[stage_in]],
                                       texture2d<half, access::sample> histogramTexture [[texture(0)]]) {
    half sum = 0;
    // 3x3邻域加权平均（权重总和为1）
    for (int x = -1; x <= 1; x++) {
        for (int y = -1; y <= 1; y++) {
            float2 offset = float2(x, y) / histogramTexture.get_width();
            sum += histogramTexture.sample(linearSampler, in.texCoord + offset) * 0.111;
        }
    }
    return sum;
}

内容的提问来源于stack exchange，提问作者Ike