iOS中RealityKit将SpatialTapGesture转为Entity坐标及unproject问题排查

一、问题核心 #

visionOS专属的SpatialTapGesture.convert(_:from:to:)方法无法在iOS上使用，你尝试的unproject方案因为空间参数错误、自定义平面与目标实体无关联，导致结果不符合预期。

二、有效替代实现 #

核心思路：通过射线检测+坐标空间转换，先获取射线与目标实体的世界空间交点，再将交点转换为实体本地坐标，该方案同时兼容visionOS和iOS。

步骤1：保存RealityView场景引用 #

先在RealityView中保留场景内容的引用，用于后续射线检测：

@State private var realityContent: RealityViewContent?

var body: some View {
    RealityView { content in
        // 这里添加你的实体到场景
        let targetEntity = Entity()
        content.add(targetEntity)
        realityContent = content
    } update: { content in
        realityContent = content
    }
}

步骤2：修改手势处理逻辑 #

在SpatialTapGesture的回调中，完成射线检测与坐标转换：

SpatialTapGesture(coordinateSpace: .local)
    .targetedToAnyEntity()
    .onEnded { tap in
        guard let content = realityContent,
              let tappedEntity = tap.entity else { return }
        
        // 1. 将手势的屏幕坐标转换为世界空间射线
        guard let worldRay = content.ray(from: tap.location, coordinateSpace: .local) else { return }
        
        // 2. 检测射线与目标实体的交点（仅匹配当前点击的实体，避免干扰）
        let hitResults = content.entities(intersecting: worldRay)
        guard let hitResult = hitResults.first(where: { $0.entity == tappedEntity }) else { return }
        
        // 3. 将世界空间交点转换为实体本地坐标
        let worldPoint = hitResult.position
        let localPoint = tappedEntity.convert(position: worldPoint, from: nil)
        
        print("实体本地坐标：\(localPoint)")
    }

三、你的unproject代码问题排查 #

1. 空间参数错误：非AR场景下，.scene空间未初始化，调用会返回nil；.camera空间是相机的本地坐标系，得到的是相对于相机的坐标，和目标实体无关，所以出现极小数值。
2. 自定义平面无意义：你手动创建的固定位置平面矩阵，和实际点击的实体没有关联，无法得到对应实体上的交点。

四、补充优化点 #

• 如果需要更精准的碰撞检测（比如仅检测实体的模型网格），可以给目标Entity添加CollisionComponent并设置匹配的碰撞形状。
• 该方案无需做平台分支判断，可直接在visionOS和iOS上运行。

内容的提问来源于stack exchange，提问作者Reinhard Männer