iOS 16.2+ SceneKit像素格式处理变更致视频纹理显示异常求助

一、iOS 16.2及以上的颜色空间处理更新 #

从iOS 16.2开始，SceneKit的线性空间渲染逻辑做了严格调整：

• 旧版本中，对于没有明确颜色元数据的视频，SceneKit会默认按伽马空间直接渲染；
• iOS 16.2+后，系统会强制遵循线性渲染管线，自动识别视频的color_range、color_space等元数据，执行「伽马空间→线性空间→显示伽马空间」的标准转换。但部分视频的异常元数据（比如color_transfer=reserved）会导致转换逻辑出错，出现画面偏淡；而无有效元数据的视频，会被错误地执行转换，导致全局禁用线性渲染后反而显示异常。

二、统一不同视频源显示效果的方案 #

不能靠全局开关SCNDisableLinearSpaceRendering解决，得针对不同视频做适配：

1. 动态识别视频元数据，切换渲染模式 #

通过AVAsset获取视频的颜色属性，根据元数据有效性决定是否启用线性渲染：

• 若视频带有color_space、color_transfer等有效元数据（非unknown/reserved），保持线性空间渲染；
• 若元数据缺失或无效，禁用当前场景的线性渲染，或手动校正颜色。

代码示例：

import AVFoundation
import SceneKit

func setupSceneKitForVideoAsset(_ asset: AVAsset, sceneView: SCNView, targetNode: SCNNode) {
    guard let videoTrack = asset.tracks(withMediaType: .video).first else { return }
    
    for formatDesc in videoTrack.formatDescriptions {
        guard let colorProps = CMFormatDescriptionGetColorProperties(formatDesc as CMFormatDescription) as? [String: Any] else {
            // 无颜色元数据，禁用线性渲染
            sceneView.scene?.isLinearRenderingEnabled = false
            return
        }
        
        let colorSpace = colorProps[kCVImageBufferColorSpaceKey as String] as? String
        let colorTransfer = colorProps[kCVImageBufferTransferFunctionKey as String] as? String
        
        let hasValidMeta = colorSpace != nil && colorTransfer != nil && colorTransfer != "reserved"
        if hasValidMeta {
            // 保持线性渲染，确保材质使用物理光照模型
            sceneView.scene?.isLinearRenderingEnabled = true
            targetNode.geometry?.firstMaterial?.lightingModel = .physicallyBased
        } else {
            // 禁用线性渲染
            sceneView.scene?.isLinearRenderingEnabled = false
        }
    }
}

2. 手动校正视频帧颜色空间 #

对于元数据异常的视频，在将视频帧作为纹理传入SceneKit前，用Core Graphics或Metal把视频帧转换为sRGB空间，再赋值给SCNNode的材质。

3. 自定义着色器统一处理 #

编写自定义Metal着色器，完全接管颜色转换流程：

• 不管视频元数据如何，统一把视频的伽马空间颜色转成线性空间渲染，再输出到显示用的伽马空间；
• 这种方式能彻底避免系统自动转换的差异，实现所有视频的显示一致性。

三、问题视频的参数差异根源 #

对比两个视频的参数就能明确问题：

• 正常视频：所有color_*参数为unknown，旧版本默认按伽马空间渲染；iOS16.2+线性渲染开启后，系统无法识别元数据导致错误转换，禁用线性渲染后反而正常。
• 异常视频：带有color_range=tv、color_space=bt470bg，但color_transfer=reserved，iOS16.2+的线性渲染管线无法处理reserved的转换规则，导致画面偏淡；禁用线性渲染后回到旧的伽马空间处理，显示恢复正常。

内容的提问来源于stack exchange，提问作者hjh5696