求助：基于Orbbec Astra Unity SDK 2.1.3实现换衣及深度优化

一、滑动手势切换衣物模型实现 #

• 直接利用SDK自带的手势识别模块，无需从零开发：
  1. 在Unity场景中添加AstraInitializer组件，确保勾选Gesture模块以启用手势数据流。
  2. 创建空对象并挂载AstraGestureListener组件，通过GestureConfiguration调整RegionOfInterest参数，限定手势检测区域（比如用户上半身范围），减少误触。
  3. 编写监听滑动事件的脚本，实现衣物模型切换：

using AstraSDK;
using UnityEngine;

public class ClothingSwitchByGesture : MonoBehaviour
{
    private AstraGestureListener _gestureListener;
    public GameObject[] clothingModels;
    private int _currentIndex = 0;

    void Start()
    {
        _gestureListener = GetComponent<AstraGestureListener>();
        _gestureListener.OnSwipe += HandleSwipe;
        
        // 初始化模型显示状态
        foreach (var model in clothingModels) model.SetActive(false);
        clothingModels[_currentIndex].SetActive(true);
    }

    void HandleSwipe(SwipeData swipeData)
    {
        if (swipeData.Direction == SwipeDirection.Right)
        {
            _currentIndex = (_currentIndex + 1) % clothingModels.Length;
        }
        else if (swipeData.Direction == SwipeDirection.Left)
        {
            _currentIndex = (_currentIndex - 1 + clothingModels.Length) % clothingModels.Length;
        }
        
        // 更新模型显示
        foreach (var model in clothingModels) model.SetActive(false);
        clothingModels[_currentIndex].SetActive(true);
    }
}

二、解决衣物模型平面化问题 #

方案1：直接使用骨骼3D世界坐标 #

检查你的骨骼数据获取逻辑，SDK的AstraBodyTracker返回的JointData包含WorldPosition字段，这是关节的3D世界空间坐标，直接用该坐标定位模型根节点，即可避免平面化。示例代码片段：

// 获取目标关节（比如脊柱根节点）的3D坐标
JointData spineJoint = body.Joints[(int)JointType.SpineBase];
if (spineJoint.IsActive)
{
    clothingModel.transform.position = spineJoint.WorldPosition;
}

方案2：结合深度帧数据修正位置 #

如果需要更精准的深度信息，可订阅深度流回调获取像素级深度值，转换为世界空间坐标：

using AstraSDK;
using UnityEngine;

public class DepthAdjustModel : MonoBehaviour
{
    private AstraDepthStream _depthStream;
    public Transform targetJoint; // 绑定到骨骼关节的Transform

    void Start()
    {
        _depthStream = FindObjectOfType<AstraDepthStream>();
        _depthStream?.OnFrameReceived += ProcessDepthFrame;
    }

    void ProcessDepthFrame(DepthFrame frame)
    {
        // 将关节世界坐标转换为屏幕坐标
        Vector2 screenPos = Camera.main.WorldToScreenPoint(targetJoint.position);
        // 映射到深度图像的像素坐标
        int depthX = (int)(screenPos.x / Screen.width * frame.Width);
        int depthY = (int)(screenPos.y / Screen.height * frame.Height);

        // 确保坐标在有效范围内
        if (depthX >= 0 && depthX < frame.Width && depthY >= 0 && depthY < frame.Height)
        {
            ushort depthValue = frame.Data[depthY * frame.Width + depthX];
            if (depthValue > 0) // 排除无效深度值
            {
                float depthInMeters = depthValue / 1000f;
                // 转换为世界空间位置并修正模型Z轴（深度方向）位置
                Vector3 adjustedPos = Camera.main.ScreenToWorldPoint(new Vector3(screenPos.x, screenPos.y, depthInMeters));
                transform.position = new Vector3(targetJoint.position.x, targetJoint.position.y, adjustedPos.z);
            }
        }
    }
}

额外优化 #

将衣物模型的根节点与骨骼关节设置为父子关系，或使用Unity的IK系统绑定模型骨骼，让模型跟随关节的3D运动，进一步提升自然度。

内容的提问来源于stack exchange，提问作者sarthak musale