如何将16位图像加载为Metal纹理？解决MTKTextureLoader失效问题

这个问题我之前也碰到过，MTKTextureLoader的默认处理逻辑确实对16位图像不太友好——要么偷偷降精度要么直接报错，还好UIImage/NSImage能正确加载并转成CGImage，那我们就绕开MTKTextureLoader的限制，手动构建Metal纹理来保留16位精度。

核心思路 #

要实现这个需求，我们需要三步：

• 把CGImage的像素格式映射到对应的Metal 16位像素格式
• 从CGImage中提取原始16位像素数据
• 用提取的数据创建并初始化Metal纹理

完整实现代码 #

import Metal
import CoreGraphics

/// 将16位CGImage转换为保留精度的Metal纹理
/// - Parameters:
///   - cgImage: 输入的16位CGImage（每个分量16位）
///   - device: 用于创建纹理的Metal设备
/// - Returns: 符合要求的MTLTexture实例
/// - Throws: 处理过程中出现的错误（格式不支持、内存分配失败等）
func create16BitMetalTexture(from cgImage: CGImage, device: MTLDevice) throws -> MTLTexture {
    // 第一步：匹配CGImage与Metal的16位像素格式
    guard let targetPixelFormat = matchingMetalPixelFormat(for: cgImage) else {
        throw TextureConversionError.unsupportedPixelFormat("当前CGImage的16位格式无法映射到Metal支持的像素格式")
    }
    
    let imageWidth = cgImage.width
    let imageHeight = cgImage.height
    let bytesPerRow = cgImage.bytesPerRow
    
    // 第二步：创建缓冲区并提取CGImage的像素数据
    guard let mutableData = CFDataCreateMutable(nil, 0),
          let dataProvider = CGDataProvider(data: mutableData) else {
        throw TextureConversionError.dataAllocationFailed("无法创建存储像素数据的缓冲区")
    }
    
    // 构建与原CGImage参数一致的CGContext，确保像素数据不被转换
    let bitmapInfo = CGBitmapInfo(rawValue: cgImage.alphaInfo.rawValue)
    guard let context = CGContext(
        data: CFDataGetMutableBytePtr(mutableData),
        width: imageWidth,
        height: imageHeight,
        bitsPerComponent: cgImage.bitsPerComponent,
        bytesPerRow: bytesPerRow,
        space: cgImage.colorSpace!,
        bitmapInfo: bitmapInfo.rawValue
    ) else {
        throw TextureConversionError.contextCreationFailed("无法创建用于提取像素数据的CGContext")
    }
    
    // 将CGImage绘制到Context中，完成像素数据复制
    context.draw(cgImage, in: CGRect(x: 0, y: 0, width: imageWidth, height: imageHeight))
    
    // 第三步：创建Metal纹理并写入像素数据
    let textureDescriptor = MTLTextureDescriptor.texture2DDescriptor(
        pixelFormat: targetPixelFormat,
        width: imageWidth,
        height: imageHeight,
        mipmapped: false
    )
    // 根据你的使用场景调整纹理用途，比如仅读取就用.shaderRead
    textureDescriptor.usage = [.shaderRead, .shaderWrite]
    
    guard let texture = device.makeTexture(descriptor: textureDescriptor) else {
        throw TextureConversionError.textureCreationFailed("Metal设备无法创建指定格式的纹理")
    }
    
    // 将像素数据复制到Metal纹理中
    let textureRegion = MTLRegionMake2D(0, 0, imageWidth, imageHeight)
    texture.replace(
        region: textureRegion,
        mipmapLevel: 0,
        withBytes: CFDataGetBytePtr(mutableData),
        bytesPerRow: bytesPerRow
    )
    
    return texture
}

/// 辅助函数：将CGImage的16位格式映射为Metal支持的像素格式
private func matchingMetalPixelFormat(for cgImage: CGImage) -> MTLPixelFormat? {
    guard cgImage.bitsPerComponent == 16 else { return nil } // 仅处理16位分量的图像
    
    let colorSpaceModel = cgImage.colorSpace?.model
    let alphaInfo = cgImage.alphaInfo
    let isFloatBased = cgImage.colorSpace?.isFloatBased == true
    
    switch (colorSpaceModel, alphaInfo, isFloatBased) {
    // 整数型16位格式
    case (.rgb, .none, false):
        return .rgb16Uint // RGB各16位无符号整数，无Alpha
    case (.rgb, .premultipliedLast, false):
        return .rgba16Uint // RGBA各16位无符号整数，预乘Alpha
    case (.rgb, .nonPremultiplied, false):
        return .rgba16Uint // RGBA各16位无符号整数，非预乘Alpha
    case (.monochrome, .none, false):
        return .r16Uint // 单通道16位无符号整数灰度图
    case (.monochrome, .premultipliedLast, false):
        return .rg16Uint // 灰度+Alpha各16位无符号整数
        
    // 浮点型16位格式（Float16）
    case (.rgb, .none, true):
        return .rgb16Float // RGB各16位浮点，无Alpha
    case (.rgb, .premultipliedLast, true):
        return .rgba16Float // RGBA各16位浮点，预乘Alpha
    case (.rgb, .nonPremultiplied, true):
        return .rgba16Float // RGBA各16位浮点，非预乘Alpha
    case (.monochrome, .none, true):
        return .r16Float // 单通道16位浮点灰度图
    case (.monochrome, .premultipliedLast, true):
        return .rg16Float // 灰度+Alpha各16位浮点
        
    default:
        return nil
    }
}

/// 自定义错误类型，方便处理转换过程中的各种问题
enum TextureConversionError: Error, LocalizedError {
    case unsupportedPixelFormat(String)
    case dataAllocationFailed(String)
    case contextCreationFailed(String)
    case textureCreationFailed(String)
    
    var errorDescription: String? {
        switch self {
        case .unsupportedPixelFormat(let msg):
            return msg
        case .dataAllocationFailed(let msg):
            return msg
        case .contextCreationFailed(let msg):
            return msg
        case .textureCreationFailed(let msg):
            return msg
        }
    }
}

关键注意事项 #

1. 格式匹配：matchingMetalPixelFormat函数覆盖了常见的16位整数/浮点格式，如果你的图像是特殊格式（比如RGB 5-6-5这种伪16位），需要调整这个函数的映射逻辑。
2. 纹理用途：textureDescriptor.usage要根据实际场景设置，比如如果只是用来渲染，.shaderRead就足够；如果需要在着色器中修改纹理，就加上.shaderWrite。
3. 错误处理：代码中用了自定义的TextureConversionError来明确错误类型，你可以根据项目需求调整为可选值或者其他错误处理方式。
4. 颜色空间一致性：确保CGImage的颜色空间是Metal支持的类型，避免因颜色空间不兼容导致的纹理异常。

内容的提问来源于stack exchange，提问作者hyperknot