如何在RealityKit中高效使用MTLTexture？

当前通过CIImage转CGImage再生成TextureResource的方式，会导致CPU与GPU之间频繁的数据拷贝，不仅性能低下，还容易因格式不兼容、线程问题或强制解包引发崩溃。以下是更高效的解决方案：

核心思路 #

跳过CGImage转换步骤，直接利用MTLTexture创建和更新RealityKit的TextureResource，全程在GPU层面操作，避免跨内存域的数据拷贝，同时规避格式转换带来的兼容性问题。

优化后的代码实现 #

import RealityKit
import MetalKit

var material: SimpleMaterial = .init()
private var textureResource: TextureResource?
// 复用Metal设备关联的CIContext，避免重复创建开销
private let ciContext = CIContext(mtlDevice: MTLCreateSystemDefaultDevice()!)

func onMetalTexture(mtlTexture: MTLTexture) {
    // RealityKit资源更新必须在主线程执行，确保线程安全
    DispatchQueue.main.async { [weak self] in
        guard let self = self else { return }
        
        do {
            if self.textureResource == nil {
                // 直接从MTLTexture生成TextureResource，无需中间格式转换
                self.textureResource = try TextureResource.generate(from: mtlTexture, 
                    options: .init(semantic: .color))
                
                let texture = MaterialParameters.Texture(self.textureResource!)
                self.material.color = .init(tint: .white, texture: texture)
            } else {
                // 直接用新的MTLTexture更新现有资源，性能远高于CGImage替换
                try self.textureResource?.replace(with: mtlTexture, 
                    options: .init(semantic: .color))
            }
        } catch {
            print("纹理处理错误: \(error.localizedDescription)")
            // 可添加错误降级逻辑，比如使用默认占位纹理
        }
    }
}

关键注意事项 #

• 纹理格式兼容：确保输入的MTLTexture像素格式为RealityKit支持的类型（如BGRA8Unorm、RGBA8Unorm），若格式不匹配，可通过Metal着色器或CIContext提前转换。
• 线程安全：RealityKit的所有资源操作必须在主线程执行，因此用DispatchQueue.main.async包裹核心逻辑。
• 避免强制解包：用do-catch捕获try抛出的错误，防止因格式不支持、纹理尺寸突变等问题直接崩溃。
• 复用上下文：提前初始化并复用CIContext（若需格式转换），避免重复创建带来的性能损耗。

内容的提问来源于stack exchange，提问作者JoeBayLD