iOS平台Vuforia增强内容局部屏幕渲染的变换计算问题

我之前也碰到过一模一样的问题！当SceneKit视图不是全屏时，Vuforia的默认跟踪/投影矩阵都是基于整个设备屏幕坐标系的，直接沿用全屏的逻辑会导致增强内容错位、偏移，核心是要把Vuforia的矩阵和你的非全屏视图做坐标系对齐，下面是我验证过的完整解决方案：

1. 理解问题根源 #

Vuforia的CameraDevice返回的投影矩阵、跟踪结果的姿态矩阵，都是以整个设备屏幕作为渲染视口的。但你的SceneKit视图只占了屏幕的一部分，两个坐标系的视口不匹配，所以需要对Vuforia的矩阵做裁剪适配，让它匹配你的视图区域。

2. 计算视图的归一化裁剪区域 #

首先要把你的SceneKit视图在屏幕上的位置，转换成Vuforia相机帧坐标系下的归一化坐标（范围0-1）。注意：iOS的屏幕坐标系原点在左上角，而Vuforia的相机帧坐标系原点在左下角，所以y轴需要翻转。

示例Swift代码：

func getNormalizedClipRect(for scnView: SCNView) -> (x: CGFloat, y: CGFloat, width: CGFloat, height: CGFloat) {
    // 把视图的bounds转换成屏幕坐标系下的rect
    let viewScreenRect = scnView.convert(scnView.bounds, to: nil)
    let screenSize = UIScreen.main.bounds.size
    
    // 计算归一化的x、宽度（x轴方向和屏幕一致）
    let normalizedX = viewScreenRect.origin.x / screenSize.width
    let normalizedWidth = viewScreenRect.size.width / screenSize.width
    
    // 计算Vuforia坐标系下的归一化y（翻转y轴）
    let normalizedY_iOS = viewScreenRect.origin.y / screenSize.height
    let normalizedHeight = viewScreenRect.size.height / screenSize.height
    let normalizedY_Vuforia = 1.0 - normalizedY_iOS - normalizedHeight
    
    return (normalizedX, normalizedY_Vuforia, normalizedWidth, normalizedHeight)
}

3. 调整Vuforia的投影矩阵 #

接下来要基于上面的裁剪区域，修改Vuforia提供的原始投影矩阵，让它适配你的非全屏视图。我们需要构建一个裁剪矩阵，和Vuforia的原始投影矩阵相乘，得到适配后的投影矩阵，再赋值给SceneKit相机。

示例代码：

func updateProjectionMatrix(for scnView: SCNView) {
    guard let cameraNode = scnView.pointOfView, let camera = cameraNode.camera else {
        return
    }
    
    // 获取Vuforia原始投影矩阵
    let vuforiaProjMatrix = CameraDevice.getInstance().getProjectionMatrix()
    // 获取当前视图的归一化裁剪区域
    let clipRect = getNormalizedClipRect(for: scnView)
    
    // 构建裁剪矩阵（列优先，和Vuforia矩阵格式一致）
    var clipMatrix = Matrix44F()
    clipMatrix.data = [
        2/clipRect.width, 0, 0, -(1 + 2*clipRect.x)/clipRect.width,
        0, 2/clipRect.height, 0, -(1 + 2*clipRect.y)/clipRect.height,
        0, 0, 1, 0,
        0, 0, 0, 1
    ]
    
    // 裁剪矩阵和Vuforia投影矩阵相乘，得到适配后的投影矩阵
    let adjustedProjMatrix = clipMatrix * vuforiaProjMatrix
    // 转换成SceneKit的SCNMatrix4（注意Vuforia是列优先，SceneKit是行优先）
    camera.projectionTransform = SCNMatrix4FromVuforiaMatrix(adjustedProjMatrix)
}

// 辅助转换函数：Vuforia Matrix44F -> SceneKit SCNMatrix4
func SCNMatrix4FromVuforiaMatrix(_ matrix: Matrix44F) -> SCNMatrix4 {
    return SCNMatrix4(
        m11: matrix.data[0], m12: matrix.data[4], m13: matrix.data[8], m14: matrix.data[12],
        m21: matrix.data[1], m22: matrix.data[5], m23: matrix.data[9], m24: matrix.data[13],
        m31: matrix.data[2], m32: matrix.data[6], m33: matrix.data[10], m34: matrix.data[14],
        m41: matrix.data[3], m42: matrix.data[7], m43: matrix.data[11], m44: matrix.data[15]
    )
}

4. 保持跟踪变换的正确处理 #

原来的跟踪结果矩阵反转逻辑依然有效，但要确保每次跟踪状态更新时，相机节点的变换是基于适配后的投影矩阵来设置的：

func handleVuforiaState(_ state: State) {
    guard let trackableResult = state.getTrackableResult(0) else {
        return
    }
    
    // 获取跟踪目标的姿态矩阵（物体相对于相机的变换）
    let modelViewMatrix = trackableResult.getPose()
    // 反转矩阵得到相机相对于世界的变换
    let cameraMatrix = modelViewMatrix.inverse()
    // 转换成SceneKit矩阵并赋值给相机节点
    scnView.pointOfView?.transform = SCNMatrix4FromVuforiaMatrix(cameraMatrix)
}

5. 关键注意事项 #

• 布局更新时重新计算：当你的SceneKit视图frame变化（比如屏幕旋转、布局调整），一定要在viewDidLayoutSubviews或者layoutSubviews里调用updateProjectionMatrix，否则矩阵会失效。
• 坐标系匹配：务必注意iOS和Vuforia的y轴方向差异，这是最容易踩坑的点。
• 矩阵格式转换：Vuforia使用列优先矩阵，SceneKit使用行优先，转换时不要搞混了上面的辅助函数里的索引。

内容的提问来源于stack exchange，提问作者steve richey