visionOS中壁锚上图片的拖拽手势适配问题

在visionOS结合RealityKit开发时，尝试将图片实体挂载到壁锚上并通过拖拽手势调整位置：

• 当壁锚朝向初始用户方向时，拖拽功能正常
• 当壁锚处于侧面或初始位置后方时，拖拽逻辑失效，表现为X轴移动方向与光标绝对坐标相反
  使用Xcode Beta 8开发，尝试手动转换拖拽位置坐标系但未解决问题，当前拖拽手势代码如下：

var dragGesture: some Gesture {
    DragGesture(minimumDistance: 0)
        .targetedToAnyEntity()
        .onChanged { value in
            let entity = value.entity
            let convertedPos = value.convert(value.location3D, from: .local, to: entity.parent!) * 0.1
            entity.position = SIMD3<Float>(x: convertedPos.x, y: 0, z: convertedPos.y * (-1))
        }
} 

核心问题是坐标系转换逻辑错误，以及手动反转轴导致的方向适配失败。正确的做法是基于全局坐标系到壁锚局部坐标系的转换，结合拖拽偏移量计算来实现适配任意壁锚朝向的拖拽：

1. 记录拖拽起始时的实体初始位置与初始拖拽点的相对偏移
2. 将拖拽过程中的全局位置转换为壁锚的局部坐标系，再结合偏移量更新实体位置

修正后的代码如下：

var dragGesture: some Gesture {
    DragGesture(minimumDistance: 0)
        .targetedToAnyEntity()
        .onStarted { value in
            let entity = value.entity
            // 记录拖拽起始时，全局拖拽点相对于实体父节点（壁锚）的局部位置
            let initialDragLocalPos = value.convert(value.startLocation3D, from: .global, to: entity.parent!)
            // 存储初始偏移：实体当前位置 - 拖拽点的局部位置
            entity.userData["initialOffset"] = entity.position - initialDragLocalPos
        }
        .onChanged { value in
            let entity = value.entity
            guard let parent = entity.parent,
                  let initialOffset = entity.userData["initialOffset"] as? SIMD3<Float> else { return }
            
            // 将实时拖拽的全局位置转换为壁锚的局部坐标系
            let currentDragLocalPos = value.convert(value.location3D, from: .global, to: parent)
            // 基于初始偏移更新实体位置，保持拖拽的相对关系，适配壁锚朝向
            entity.position = currentDragLocalPos + initialOffset
            // 固定Y轴位置（保持图片贴壁）
            entity.position.y = 0
        }
}

关键调整说明 #

• 坐标系转换：使用.global作为源坐标系，确保拖拽位置基于全局空间计算，转换到壁锚的局部坐标系后，自动适配壁锚的朝向，无需手动反转轴
• 偏移量计算：通过记录初始拖拽时的相对偏移，避免直接赋值位置导致的跳变，同时保证拖拽操作的连贯性
• 固定Y轴：保持图片Y轴位置为0，确保始终贴合壁锚平面

内容的提问来源于stack exchange，提问作者Fernando