基于SceneKit与LiDAR的3D模型真实纹理映射技术问询

核心逻辑 #

本质是通过3D顶点到2D图像的投影计算，把LiDAR扫描时同步采集的摄像头图像，映射到重建网格的每个顶点上——也就是给网格添加UV坐标后绑定对应纹理。

分步实现 #

1. 同步采集对齐的LiDAR点云与摄像头帧 #

• 用ARSession的didUpdateFrame回调，同时获取ARFrame中的capturedImage（摄像头原始帧）和rawFeaturePoints/重建网格对应的点云数据，必须保证两者时间戳严格对齐，否则会出现纹理错位。
• 关键是拿到当前帧ARCamera的内参（焦距、畸变参数）和外参（相机在世界空间的位置姿态），这是坐标转换的基础。

2. 为网格顶点计算UV坐标 #

• 对每个网格顶点的世界空间坐标，调用ARCamera的projectPoint(_:orientation:viewportSize:)方法，直接得到该点在摄像头图像中的像素位置。
• 将像素坐标转换为UV坐标（范围0-1）：注意iOS摄像头图像的y轴是翻转的，所以需要用1.0 - 像素y/图像高度来修正。
• 把所有顶点的UV值整理成数组，每个UV对应两个Float值（x,y）。

3. 预处理摄像头帧为可用纹理 #

• 将capturedImage（YCbCr格式）转换为UIImage，再转成SceneKit支持的SKTexture或MTLTexture。如果有多帧图像，优先选择覆盖网格区域最完整的帧，或者后续做多帧融合。

4. 为SceneKit网格绑定UV与纹理 #

• 基于原重建网格的顶点数据源，新增一个类型为.texcoord的SCNGeometrySource，传入之前计算好的UV数组。
• 用新的数据源和原有的几何元素创建带UV的SCNGeometry，然后给材质的diffuse.contents赋值处理好的摄像头纹理。

关键代码片段 #

计算单个顶点的UV坐标 #

// 假设arFrame是当前AR会话帧，worldPoint是网格顶点的世界空间坐标
let camera = arFrame.camera
// 图像尺寸需匹配capturedImage的实际大小
let imageSize = CGSize(width: CVPixelBufferGetWidth(arFrame.capturedImage), height: CVPixelBufferGetHeight(arFrame.capturedImage))
// 投影3D点到图像像素坐标
let pixelPoint = camera.projectPoint(worldPoint, orientation: .portrait, viewportSize: imageSize)
// 转换为UV坐标（修正y轴翻转）
let uvX = Float(pixelPoint.x / imageSize.width)
let uvY = Float(1.0 - (pixelPoint.y / imageSize.height))
let uv = [uvX, uvY]

创建带UV的SceneKit几何体 #

// 假设vertexSource是原网格的顶点数据源，uvArray是所有顶点的UV值数组（[Float]）
let uvSource = SCNGeometrySource(
    data: Data(bytes: uvArray, count: uvArray.count * MemoryLayout<Float>.stride),
    semantic: .texcoord,
    vectorCount: uvArray.count / 2,
    usesFloatComponents: true,
    componentsPerVector: 2,
    bytesPerComponent: MemoryLayout<Float>.stride,
    dataOffset: 0,
    dataStride: MemoryLayout<Float>.stride * 2
)

// 原网格的几何元素（面索引）
guard let geometryElement = originalGeometry.geometryElements.first else { return }
// 创建带UV的新几何体
let texturedGeometry = SCNGeometry(sources: [vertexSource, uvSource], elements: [geometryElement])

// 将摄像头帧转成纹理并赋值
let capturedImage = arFrame.capturedImage
// 这里需要自行实现YCbCr转UIImage的逻辑
let uiImage = convertYCbCrToUIImage(capturedImage)
let texture = SKTexture(image: uiImage)
texturedGeometry.firstMaterial?.diffuse.contents = texture

优化与注意事项 #

• 对齐误差修正：利用ARKit提供的相机与LiDAR的校准参数，确保坐标转换的准确性，避免纹理偏移。
• 性能优化：如果网格顶点数量过大，先做网格简化再计算UV；可以用Metal并行计算UV，提升效率。
• 纹理修正：若出现拉伸、模糊，可尝试多帧UV加权平均，或用泊松纹理映射算法优化纹理贴合效果。

参考方向 #

• 深挖ARKit官方文档中ARCamera的坐标转换API，理解世界空间、相机空间、图像空间的转换逻辑。
• 学习3D图形学中的UV映射基础，掌握投影矩阵的作用原理。
• 参考苹果官方的SceneReconstruction示例，在其网格重建基础上扩展纹理映射逻辑。

内容的提问来源于stack exchange，提问作者noob coder