如何用Swift结合MetalKit为LiDAR扫描模型创建UV纹理图并导出JPG？

一、适用框架推荐 #

• Metal：无需额外第三方框架，Metal的纹理处理与渲染管线可直接完成UV计算、纹理烘焙，配合ARKit相机帧数据生成目标纹理。
• ModelIO：苹果官方3D模型处理框架，支持PLY/OBJ读写，可直接为模型顶点添加UV属性，导出时能将UV信息写入OBJ/MTL文件，配合Metal完成纹理生成。

二、UV映射算法实现方案 #

1. 相机投影式UV映射（适配ARKit场景） #

你的模型基于LiDAR+相机帧扫描生成，每个顶点对应相机空间位置，直接利用相机投影矩阵转换UV，贴合实景视角：

• 步骤：
  1. 从ARFrame中获取相机的viewMatrix（视图矩阵）和projectionMatrix（投影矩阵）。
  2. 将顶点世界坐标转换为相机空间坐标：cameraSpacePos = viewMatrix × worldSpacePos。
  3. 用投影矩阵转换为NDC空间坐标：ndcPos = projectionMatrix × cameraSpacePos。
  4. 将NDC坐标（范围[-1,1]）转为UV坐标（范围[0,1]）：uv.x = (ndcPos.x/ndcPos.w + 1)/2，uv.y = (1 - (ndcPos.y/ndcPos.w + 1)/2)（翻转Y轴适配Metal纹理原点）。
• 优势：完全匹配扫描时的相机视角，无纹理拉伸错位，适合实景扫描模型。

2. 拓扑展开式UV映射（复杂模型适用） #

若模型拓扑复杂，相机投影UV出现重叠，可采用贪心展开算法：

• 核心逻辑：基于三角面邻接关系，将3D模型逐个展开到2D平面，尽可能减少拉伸，需处理模型三角面的连接拓扑。
• 注意：实现复杂度较高，适合需要无重叠UV的场景。

三、Swift+Metal示例代码片段 #

1. 顶点UV计算核心代码 #

import ARKit
import MetalKit

// 假设已获取模型顶点世界坐标数组
var worldVertices: [SIMD3<Float>] = []
var uvCoordinates: [SIMD2<Float>] = []

// 获取当前ARKit帧的相机矩阵
guard let frame = arView.session.currentFrame else { return }
let viewMatrix = frame.camera.viewMatrix
let projectionMatrix = frame.camera.projectionMatrix(for: .portrait, viewportSize: arView.bounds.size)

for vertex in worldVertices {
    // 转换到相机空间
    let cameraSpacePos = viewMatrix * SIMD4<Float>(vertex.x, vertex.y, vertex.z, 1.0)
    // 转换到NDC空间
    let ndcPos = projectionMatrix * cameraSpacePos
    // 归一化并生成UV（适配Metal纹理Y轴）
    let uvX = (ndcPos.x / ndcPos.w + 1.0) / 2.0
    let uvY = 1.0 - (ndcPos.y / ndcPos.w + 1.0) / 2.0
    uvCoordinates.append(SIMD2<Float>(uvX, uvY))
}

2. 渲染生成纹理并导出JPG #

// 创建Metal渲染目标纹理
let textureDescriptor = MTLTextureDescriptor.texture2DDescriptor(
    pixelFormat: .rgba8Unorm,
    width: Int(arView.bounds.width),
    height: Int(arView.bounds.height),
    mipmapped: false
)
textureDescriptor.usage = [.renderTarget, .shaderRead, .shaderWrite]
guard let renderTexture = device.makeTexture(descriptor: textureDescriptor) else { return }

// 配置渲染通道
let renderPassDescriptor = MTLRenderPassDescriptor()
renderPassDescriptor.colorAttachments[0].texture = renderTexture
renderPassDescriptor.colorAttachments[0].loadAction = .clear
renderPassDescriptor.colorAttachments[0].clearColor = MTLClearColor(red: 0, green: 0, blue: 0, alpha: 0)
renderPassDescriptor.colorAttachments[0].storeAction = .store

// 执行渲染（需提前配置好包含UV属性的顶点缓冲区、渲染管线状态，绑定相机纹理）
let commandBuffer = commandQueue.makeCommandBuffer()!
let encoder = commandBuffer.makeRenderCommandEncoder(descriptor: renderPassDescriptor)!
// 此处添加绑定顶点缓冲区、UV缓冲区、相机纹理、绘制模型的代码
encoder.endEncoding()
commandBuffer.commit()
commandBuffer.waitUntilCompleted()

// 转换纹理为UIImage并导出JPG
guard let ciImage = CIImage(mtlTexture: renderTexture, options: nil),
      let cgImage = CIContext().createCGImage(ciImage, from: ciImage.extent) else { return }
let uiImage = UIImage(cgImage: cgImage)
if let jpgData = uiImage.jpegData(compressionQuality: 0.9) {
    try? jpgData.write(to: URL(fileURLWithPath: "/your/save/path/texture.jpg"))
}

四、关键注意事项 #

• 确保LiDAR顶点数据与ARFrame时间戳对齐，避免纹理错位。
• 导出OBJ时需添加UV属性行（格式：vt u v），MTL文件中指定纹理路径为导出的JPG。
• 多帧纹理场景需做帧对齐，通过烘焙将多帧纹理合并到单张UV图。

内容的提问来源于stack exchange，提问作者Bahadir Seyfi