使用Core Image实现帧平均时出现色彩错乱、色块问题如何解决？

问题根因与解决方案 #

你遇到的色彩错乱、异常色块问题本质是颜色空间 mismatch 导致的计算误差累计，而非通道截断问题，具体解决方法如下：

1. 核心疑问解答

Core Image 会自动将输入的 32 位 ARGB 格式采集帧转换为你指定的 128 位 RGBAf（每通道 32 位浮点）格式进行计算，只要 CIContext 的 workingFormat 设置为 .RGBAf 即可正常生效，你初始化 CIImageAccumulator 的格式选择是正确的。

2. 错误根源

你在初始化 CIContext 时设置了 .workingColorSpace: NSNull()，直接关闭了 Core Image 的颜色管理逻辑：

• 摄像头采集的 CMSampleBuffer 是经过 Gamma 校正的 sRGB 格式数值，不是线性光数值
• 你直接在 Gamma 校正后的空间做帧平均计算，叠加次数越多，数值计算的偏差就越大，超过正常范围的数值在渲染时被异常转换，最终出现色块

3. 具体修复步骤

• 修正 CIContext 配置，明确指定线性 sRGB 作为工作颜色空间，Core Image 会自动将输入的 sRGB 帧转换为线性空间的浮点值进行计算，避免 Gamma 导致的数值错误：

ciContext = CIContext(mtlDevice: metalView.metalDevice, options: [
    .workingFormat : CIFormat.RGBAf,
    // 替换原NSNull配置，明确指定线性工作空间
    .workingColorSpace: CGColorSpace(name: CGColorSpace.linearSRGB)!,
    .cacheIntermediates : false,
    .highQualityDownsample: true
])

• 明确输入帧的颜色空间，创建 CIImage 时明确告知 Core Image 输入帧的颜色空间，确保自动转换逻辑正确：

let newImage = CIImage(cvImageBuffer: cvBuffer, options: [
    .colorSpace: CGColorSpace(name: CGColorSpace.sRGB)!
])

• 你自定义的滤镜内核、帧平均逻辑、Accumulator 配置都不需要修改，调整完上述配置后误差累计问题就会消失。

内容的提问来源于stack exchange，提问作者Salvo89