将相机帧MTLTexture设为SceneKit背景时画面过亮问题排查

嘿，我之前也碰到过一模一样的问题！相机帧转成MTLTexture后作为SceneKit背景出现过亮泛白，大概率是色彩空间不匹配或者纹理转换时的颜色格式处理出错导致的，给你几个具体的排查和解决方向：

1. 色彩空间不匹配是重灾区 #

相机捕获的帧通常是sRGB或者YCbCr格式，而SceneKit默认会用线性色彩空间渲染。如果直接把sRGB纹理当成线性空间来解析，画面就会莫名过亮。

• 解决办法：创建MTLTexture时明确指定sRGB色彩空间。比如在设置MTLTextureDescriptor的时候：

  let textureDescriptor = MTLTextureDescriptor.texture2DDescriptor(
      pixelFormat: .rgba8Unorm_sRGB,
      width: Int(bufferWidth),
      height: Int(bufferHeight),
      mipmapped: false
  )
  textureDescriptor.srgb = true
  

  或者在通过CIContext转换CVPixelBuffer时，指定sRGB颜色空间：

  let ciImage = CIImage(cvPixelBuffer: cameraPixelBuffer)
  let ciContext = CIContext(mtlDevice: scnView.device!)
  let targetTexture = ciContext.createTexture(
      from: ciImage,
      format: .rgba8Unorm_sRGB,
      colorSpace: CGColorSpace(name: CGColorSpace.sRGB)!
  )
  

2. 像素格式转换没做对 #

相机输出的像素格式（比如kCVPixelFormatType_420YpCbCr8BiPlanarFullRange）如果直接粗暴转成RGBA格式，会跳过YCbCr到RGB的正确色彩转换，导致颜色失真、画面过亮。

• 解决办法：必须用CIContext或者AVFoundation的转换工具来处理色彩空间转换，不要自己手动操作像素数据。上面的代码示例已经包含了正确的转换逻辑，重点是要指定.rgba8Unorm_sRGB这个带sRGB标记的像素格式。

3. SceneKit背景的材质设置要跟上 #

就算纹理本身没问题，SceneKit的背景材质如果没设置对色彩空间，也会出问题。可以手动给背景材质指定sRGB：

scene.background.contents = targetTexture
// 顺便处理相机帧的Y轴翻转（很多时候需要）
scene.background.contentsTransform = SCNMatrix4MakeScale(1, -1, 1)
if let bgMaterial = scene.background.material {
    bgMaterial.diffuse.colorSpace = CGColorSpace.sRGB
    bgMaterial.diffuse.wrapS = .clampToEdge
    bgMaterial.diffuse.wrapT = .clampToEdge
}

4. 排查相机本身的曝光设置 #

有时候不是纹理的锅，是相机捕获的帧本身就过曝了。可以检查下AVCaptureDevice的曝光配置：

if let device = AVCaptureDevice.default(.builtInWideAngleCamera, for: .video, position: .back) {
    try? device.lockForConfiguration()
    device.exposureMode = .continuousAutoExposure
    // 也可以手动调整曝光补偿：device.setExposureTargetBias(-1.0, completionHandler: nil)
    device.unlockForConfiguration()
}

你可以先从色彩空间匹配这个点入手排查，这是最常见的原因。如果还是有问题，再检查像素格式转换和相机参数~

内容的提问来源于stack exchange，提问作者hartw