如何基于姿态检测实现Flutter嵌入Unity内的3D角色操控

1. 对齐跨端坐标系（重点排查项） #

• Google ML Kit输出的landmark默认是归一化屏幕坐标系：原点在屏幕左上角，X轴向右、Y轴向下，Z轴为朝向摄像头的深度值，数值范围均为[0,1]，直接传入Unity会完全错位，必须做转换：
  1. 翻转Y轴适配Unity坐标系：unityY = 1 - mlKitY
  2. 根据你预设的3D角色活动范围做坐标映射，比如角色活动区域为X∈[-1,1]、Y∈[-1,1]、Z∈[0,2]，将归一化后的坐标线性映射到对应区间
  3. 若使用骨骼局部坐标赋值，需将换算后的世界坐标转为肩部父节点的局部坐标再输入
  4. 适配Z轴方向：ML Kit的Z轴正值代表朝向摄像头，若Unity场景中Z轴正方向朝向屏幕外，需将Z值取反避免前后方向颠倒

2. 修正Animation Rigging绑定配置 #

• 二段骨（肩-肘-腕）IK配置要求：
  1. 确认Two Bone IK组件的Root绑定肩部骨骼、Mid绑定肘部骨骼、Tip绑定腕部骨骼，顺序不能颠倒
  2. 新建两个空节点分别作为IK的Target（腕部目标点）和Hint（肘部朝向参考点），不要直接给骨骼赋值坐标，所有检测到的点位先赋值给Target空节点，由IK解算器自动计算骨骼旋转角度
  3. 确认IK组件的Weight设为1，对应动画层的权重也设为1，避免其他动画层效果覆盖IK驱动结果
• 基准姿态校准：要求角色初始姿态为标准T Pose，用户首次使用时先保持T Pose1-2秒，记录此时三个关节的点位作为基准偏移量，后续所有传入的检测点位都减去该偏移量再赋值，消除初始姿态差导致的错位
• 添加帧间平滑：ML Kit输出的关键点存在小幅跳变，直接赋值会导致手部抖动，用Vector3.Lerp做平滑处理，示例代码：

  public float smoothSpeed = 10f;
  public Vector3 receivedTargetPos;
  void Update()
  {
      ikTarget.position = Vector3.Lerp(ikTarget.position, receivedTargetPos, Time.deltaTime * smoothSpeed);
  }
  

  可调整smoothSpeed数值平衡响应速度和平滑度

3. 校验数据传输链路 #

• 先做静态点位测试：暂时断开实时数据流，在Unity中直接写死一组测试点位（如肩(0,0,0)、肘(0.5,0,0)、腕(1,0,0)）赋值给IK Target，确认Rig能正常驱动手臂伸出，排除传输过程中数据顺序错乱、精度丢失、丢包的问题
• 确认数据传输的关节顺序：Flutter侧传输的关键点顺序必须严格对应肩、肘、腕的顺序，避免传错其他关节或左右手的点位
• 优先用二进制格式传输浮点数，不要用字符串序列化，避免浮点数精度损失导致的错位累积

内容的提问来源于stack exchange，提问作者Storm Lover