手部追踪问题：MediaPipe+Unity3D仅单手可实时移动无法双手联动

核心问题拆解 #

• 无效的"Both"类型判断：if (handType == "Right" && handType == "Left")逻辑完全错误，一个字符串变量不可能同时等于两个不同值，导致handType永远无法被设为"Both"。
• else if分支阻塞：即便handType能正确拿到"Both"，当前的if-else if结构会让第一个满足条件的分支执行后直接跳过后续分支，左手关键点永远得不到更新。
• 左右手数据复用：x2/y2/z2和x1/y1/z1用了完全相同的points索引，等于左右手共用同一套坐标，完全不符合MediaPipe双手追踪的数据结构（双手追踪会返回左右手各自21个关键点的独立数据）。

修复方案 #

1. 移除无效的handType赋值：删掉那个永远不会触发的判断，改为依赖MediaPipe实际返回的handType标识（比如同时检测双手时返回"Both"）。
2. 拆分分支为独立if语句：把else if改成第二个独立的if，确保"Both"类型下左右手的更新逻辑都会执行。
3. 正确解析双手数据：MediaPipe双手追踪返回的数据是「右手21个点（63个数值）+左手21个点（63个数值）」，左手坐标需要从数组第63位开始读取。

修改后的完整代码 #

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class HandTracking : MonoBehaviour
{
    public UDPReceive udpReceive;
    public GameObject[] handPoints; // 右手关键点容器
    public GameObject[] handPointsB; // 左手关键点容器

    void Start()
    {
    }

    void Update()
    {
        string data = udpReceive.data;
        string handType = udpReceive.handType;
        
        // 清理数据首尾的多余字符（假设原始格式为[xxx,xxx,...]）
        if (!string.IsNullOrEmpty(data) && data.Length > 2)
        {
            data = data.Remove(0, 1);
            data = data.Remove(data.Length - 1, 1);
        }
        else
        {
            Debug.LogWarning("收到无效数据");
            return;
        }

        string[] points = data.Split(',');
        // 校验数据长度：单只手63个数值，双手126个数值
        if (points.Length != 63 && points.Length != 126)
        {
            Debug.LogWarning($"无效的关键点数量：{points.Length}，预期63或126");
            return;
        }

        // 更新右手关键点
        if (handType == "Right" || handType == "Both")
        {
            for (int i = 0; i < 21; i++)
            {
                float x = float.Parse(points[i * 3]) / 80;
                float y = float.Parse(points[i * 3 + 1]) / 80;
                float z = float.Parse(points[i * 3 + 2]) / 80;
                handPoints[i].transform.localPosition = new Vector3(x, y, z);
            }
        }

        // 更新左手关键点（独立if，避免被右手分支阻塞）
        if (handType == "Left" || handType == "Both")
        {
            // 双手数据时，左手从第63位开始读取（21*3=63）
            int startIndex = points.Length == 126 ? 63 : 0;
            for (int i = 0; i < 21; i++)
            {
                float x = float.Parse(points[startIndex + i * 3]) / 80;
                float y = float.Parse(points[startIndex + i * 3 + 1]) / 80;
                float z = float.Parse(points[startIndex + i * 3 + 2]) / 80;
                handPointsB[i].transform.localPosition = new Vector3(x, y, z);
            }
        }
    }
}

额外注意事项 #

• 确保udpReceive.handType的返回值准确：同时检测双手时返回"Both"，单只手时返回"Left"或"Right"。
• 数据长度校验可以避免解析错误导致的程序崩溃，建议保留。
• 缩放系数/80可根据Unity场景大小调整，保证手部模型显示比例合适。

内容的提问来源于stack exchange，提问作者FlickerMarc