You need to enable JavaScript to run this app. iPad端Swift Playgrounds中如何仅显示AR面部网格并保存网格坐标至文件
优惠活动
大模型
产品
解决方案
定价
更多

iPad端Swift Playgrounds中如何仅显示AR面部网格并保存网格坐标至文件

需求实现方案

一、仅保留面部网格、移除实体渲染

你当前代码已经通过fillMode = .lines开启了线框渲染,只需补充材质配置,就能彻底消除任何面渲染残留,同时让线框显示更清晰:
修改nodeFor代理方法中的材质配置部分:

// 原有代码
let node = SCNNode(geometry: faceGeometry)
node.geometry?.firstMaterial?.fillMode = .lines
// 新增配置
node.geometry?.firstMaterial?.lightingModel = SCNLightingModelConstant // 关闭光照影响,线框颜色固定
node.geometry?.firstMaterial?.diffuse.contents = UIColor.white // 自定义线框颜色,可按需修改
node.geometry?.firstMaterial?.isDoubleSided = false // 关闭双面渲染,进一步减少冗余计算
node.geometry?.firstMaterial?.cullMode = .back // 剔除背面像素,避免背面线框干扰
return node

二、采集并保存面部网格坐标到本地

核心实现逻辑

ARFaceAnchor.geometry自带所有网格顶点的坐标、三角形索引、纹理坐标数据,我们只需在每帧网格更新时采集对应数据,通过FileManager写入沙盒目录,再通过Playgrounds的导出接口提供给用户即可。

完整代码补充

  1. 先在ARViewController类中新增所需属性和数据模型:
// 存储单帧网格数据的Codable模型,方便序列化
struct FaceMeshFrame: Codable {
    let timestamp: TimeInterval
    let vertices: [[Float]] // 每个顶点的[x, y, z]坐标
    let textureCoords: [[Float]] // 可选,不需要可以删除
}

class ARViewController: UIViewController {
    // 原有ARView属性等代码
    var arView: ARSCNView!
    // 新增:存储采集到的所有帧数据
    private var capturedFrames: [FaceMeshFrame] = []
    // 新增:采集开关,可按需触发
    var isCapturing = false
}
  1. 补充didUpdate代理方法中的数据采集逻辑:
func renderer(_ renderer: SCNSceneRenderer, 
              didUpdate node: SCNNode, 
                  for anchor: ARAnchor) {
    guard let faceAnchor = anchor as? ARFaceAnchor, 
          let faceGeometry = node.geometry as? ARSCNFaceGeometry 
    else { return }

    faceGeometry.update(from: faceAnchor.geometry)  
    
    // 新增:仅在采集开启时收集数据
    guard isCapturing else { return }
    
    // 转换顶点坐标:可选,这里转成世界空间坐标,不需要的话直接存局部坐标即可
    let vertices = faceAnchor.geometry.vertices.map { localVertex in
        // 局部坐标×锚点变换矩阵 = 世界坐标
        let worldPos = faceAnchor.transform * float4(localVertex, 1)
        return [worldPos.x, worldPos.y, worldPos.z]
    }
    
    // 可选:收集纹理坐标
    let texCoords = faceAnchor.geometry.textureCoordinates.map { [$0.x, $0.y] }
    
    // 封装为单帧数据加入数组
    let frame = FaceMeshFrame(
        timestamp: Date().timeIntervalSince1970,
        vertices: vertices,
        textureCoords: texCoords
    )
    capturedFrames.append(frame)
}
  1. 新增保存文件的方法:
// 新增保存方法,可通过手势、按钮或自动触发调用
@objc func saveMeshData() {
    // 获取沙盒文档目录,Swift Playgrounds中无需额外权限
    guard let docDir = FileManager.default.urls(for: .documentDirectory, in: .userDomainMask).first,
          !capturedFrames.isEmpty else { return }
    
    // 保存为JSON格式,可按需修改文件名
    let jsonURL = docDir.appendingPathComponent("face_mesh_data.json")
    do {
        let encoder = JSONEncoder()
        encoder.outputFormatting = .prettyPrinted
        let data = try encoder.encode(capturedFrames)
        try data.write(to: jsonURL)
        // 调用Playgrounds内置接口弹出文件导出选项
        PlaygroundPage.current.writeValue(jsonURL)
        // 保存完成后清空采集缓存,可按需修改
        capturedFrames.removeAll()
    } catch {
        print("保存失败:\(error.localizedDescription)")
    }
    
    // 如需保存为可直接导入3D软件的OBJ格式,可追加以下逻辑
    /*
    let objURL = docDir.appendingPathComponent("face_mesh_last_frame.obj")
    guard let lastFrame = capturedFrames.last else { return }
    var objContent = "# 面部网格数据\n"
    lastFrame.vertices.forEach { objContent += "v \($0[0]) \($0[1]) \($0[2])\n" }
    // 写入三角形面索引(注意OBJ索引从1开始)
    let indices = faceAnchor.geometry.triangleIndices
    for i in stride(from: 0, to: indices.count, by: 3) {
        objContent += "f \(Int(indices[i])+1) \(Int(indices[i+1])+1) \(Int(indices[i+2])+1)\n"
    }
    try objContent.data(using: .utf8)?.write(to: objURL)
    PlaygroundPage.current.writeValue(objURL)
    */
}
  1. 触发保存的方式:在ARViewController的viewDidLoad中添加手势,比如双指点击触发保存:
override func viewDidLoad() {
    super.viewDidLoad()
    // 原有ARView配置代码
    // 新增:添加双指点击手势触发保存
    let saveTap = UITapGestureRecognizer(target: self, action: #selector(saveMeshData))
    saveTap.numberOfTouchesRequired = 2
    view.addGestureRecognizer(saveTap)
    
    // 可选:自动开启采集
    isCapturing = true
}

注意事项

  • 每帧顶点数据约30KB,长时间采集请定期触发保存避免内存占用过高
  • 不需要世界坐标的话,去掉顶点转换的矩阵乘法,直接返回[localVertex.x, localVertex.y, localVertex.z]即可
  • 导出的文件可以直接保存到iPad的文件App中,后续可随时读取解析

内容的提问来源于stack exchange,提问作者Shey

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.23 22:27:00