如何在Swift中以编程方式将MTLTexture导出为KTX格式？

背景 #

我们可以通过Metal帧捕获工具捕获帧后，手动将包含图层或切片的原始纹理数据导出为KTX格式：

之后可通过MTKTextureLoader导入该纹理，示例代码如下：

let texture = try! await loader.newTexture(URL: Bundle.main.url(forResource: "texture", withExtension: "ktx")!)

解决方案 #

由于Metal没有提供原生API直接将MTLTexture导出为KTX格式，目前有两种常用实现方式：

1. 使用第三方KTX处理库

推荐使用KTX-Software（Khronos官方的KTX格式处理工具），可通过Swift Package Manager引入其Swift绑定版本，或封装C接口调用。核心步骤如下：

• 从MTLTexture中读取像素数据到内存缓冲区
• 调用KTX库API，将纹理参数（尺寸、像素格式、mipmap层级等）和像素数据写入KTX文件

示例简化逻辑：

import KTX

// 1. 读取MTLTexture像素数据
let texture: MTLTexture = ... // 你的目标纹理
let bytesPerRow = texture.width * texture.pixelFormat.sizePerPixel()
let data = UnsafeMutableRawPointer.allocate(byteCount: texture.height * bytesPerRow, alignment: 1)
texture.getBytes(data, bytesPerRow: bytesPerRow, from: MTLRegionMake2D(0, 0, texture.width, texture.height), mipmapLevel: 0)

// 2. 创建并写入KTX文件
let ktxTexture = KTXTexture.create(
    width: texture.width,
    height: texture.height,
    pixelFormat: .rgba8, // 匹配你的纹理格式
    mipLevels: texture.mipmapLevelCount,
    data: data
)
try ktxTexture.write(to: URL(fileURLWithPath: "/path/to/output.ktx"))

// 3. 释放内存
data.deallocate()

注：实际使用时需根据纹理的像素格式、是否包含mipmap、数组纹理/立方体纹理等情况调整参数。

2. 手动实现KTX格式写入

如果不想依赖第三方库，可按照Khronos的KTX文件规范手动构建文件内容：

• 先写入KTX文件头（包含纹理类型、尺寸、像素格式、mipmap数量等元数据）
• 依次写入每个mipmap层级的像素数据（如果有）
• 处理纹理数组、立方体纹理等特殊情况

这种方式需严格遵循KTX格式规范，示例伪代码：

func exportTexture(_ texture: MTLTexture, to url: URL) throws {
    let fileHandle = try FileHandle(forWritingTo: url)
    defer { fileHandle.closeFile() }
    
    // 1. 写入KTX文件头（简化版，需根据实际格式补全所有字段）
    let header = KTXHeader(
        identifier: [0xAB, 0x4B, 0x54, 0x58, 0x20, 0x31, 0x31, 0xBB, 0x0D, 0x0A, 0x1A, 0x0A],
        endianness: 0x04030201,
        glType: 0, // 对应纹理格式的类型
        glTypeSize: UInt32(texture.pixelFormat.sizePerPixel()),
        glFormat: 0x1908, // GL_RGBA
        glInternalFormat: 0x8058, // GL_RGBA8
        glBaseInternalFormat: 0x1908,
        pixelWidth: UInt32(texture.width),
        pixelHeight: UInt32(texture.height),
        pixelDepth: 0,
        numberOfArrayElements: UInt32(texture.arrayLength),
        numberOfFaces: UInt32(texture.textureType == .typeCube ? 6 : 1),
        numberOfMipmapLevels: UInt32(texture.mipmapLevelCount),
        bytesOfKeyValueData: 0
    )
    fileHandle.write(try header.serialize())
    
    // 2. 写入每个mipmap层级的像素数据
    for level in 0..<texture.mipmapLevelCount {
        let levelWidth = max(1, texture.width >> level)
        let levelHeight = max(1, texture.height >> level)
        let bytesPerRow = levelWidth * texture.pixelFormat.sizePerPixel()
        let dataSize = levelHeight * bytesPerRow
        
        let data = UnsafeMutableRawPointer.allocate(byteCount: dataSize, alignment: 1)
        defer { data.deallocate() }
        
        texture.getBytes(data, bytesPerRow: bytesPerRow, from: MTLRegionMake2D(0, 0, levelWidth, levelHeight), mipmapLevel: level)
        fileHandle.write(Data(bytes: data, count: dataSize))
    }
}

// 辅助结构体：KTX文件头
struct KTXHeader {
    var identifier: [UInt8]
    var endianness: UInt32
    var glType: UInt32
    var glTypeSize: UInt32
    var glFormat: UInt32
    var glInternalFormat: UInt32
    var glBaseInternalFormat: UInt32
    var pixelWidth: UInt32
    var pixelHeight: UInt32
    var pixelDepth: UInt32
    var numberOfArrayElements: UInt32
    var numberOfFaces: UInt32
    var numberOfMipmapLevels: UInt32
    var bytesOfKeyValueData: UInt32
    
    func serialize() throws -> Data {
        var data = Data()
        data.append(contentsOf: identifier)
        data.append(endianness.data)
        data.append(glType.data)
        data.append(glTypeSize.data)
        data.append(glFormat.data)
        data.append(glInternalFormat.data)
        data.append(glBaseInternalFormat.data)
        data.append(pixelWidth.data)
        data.append(pixelHeight.data)
        data.append(pixelDepth.data)
        data.append(numberOfArrayElements.data)
        data.append(numberOfFaces.data)
        data.append(numberOfMipmapLevels.data)
        data.append(bytesOfKeyValueData.data)
        return data
    }
}

extension UInt32 {
    var data: Data {
        var value = self.littleEndian // KTX使用小端字节序
        return Data(bytes: &value, count: MemoryLayout<UInt32>.size)
    }
}

extension MTLPixelFormat {
    func sizePerPixel() -> Int {
        switch self {
        case .rgba8Unorm: return 4
        case .rgb8Unorm: return 3
        case .rg8Unorm: return 2
        case .r8Unorm: return 1
        // 需根据实际使用的格式补充更多case
        default: return 4
        }
    }
}

注：手动实现需要处理所有纹理类型（2D、3D、立方体、数组纹理）和像素格式，建议参考官方KTX格式文档确保兼容性。

内容的提问来源于stack exchange，提问作者Chat Dp