Python手势控制3D物体：Ursina与OpenCV窗口无法并排问题求助

一、解决窗口无法并排显示的问题 #

Ursina窗口基于Pyglet/OpenGL运行，OpenCV的imshow依赖系统原生GUI框架，两者共用主线程时会阻塞事件循环，导致无法同时正常显示。提供两种可行方案：

方案1：将摄像头画面嵌入Ursina窗口（推荐） #

放弃单独的OpenCV窗口，把摄像头帧渲染到Ursina窗口的指定区域，让3D场景和摄像头画面在同一窗口内分区域显示。示例代码：

from ursina import *
import cv2
import numpy as np

app = Ursina()

# 创建3D橙色立方体
cube = Entity(model='cube', color=color.orange, scale=2)

# 创建承载摄像头画面的UI平面，放置在窗口右下角
cam_plane = Entity(parent=camera.ui, model='quad', texture=Texture(), scale=(0.3, 0.4), position=(0.6, -0.4))

cap = cv2.VideoCapture(0)

def update():
    ret, frame = cap.read()
    if ret:
        # OpenCV默认BGR格式，转换为Ursina需要的RGB
        frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
        # 调整帧尺寸匹配UI平面
        frame_rgb = cv2.resize(frame_rgb, (int(cam_plane.scale[0]*window.width), int(cam_plane.scale[1]*window.height)))
        # 更新平面纹理
        cam_plane.texture.set_data(frame_rgb)

    # 临时控制逻辑：WASD移动立方体
    cube.x += held_keys['d'] * 0.1
    cube.x -= held_keys['a'] * 0.1
    cube.y += held_keys['w'] * 0.1
    cube.y -= held_keys['s'] * 0.1

app.run()
cap.release()

方案2：多线程分离OpenCV与Ursina运行 #

如果必须保留两个独立窗口，将OpenCV的摄像头捕获和显示放到单独线程，避免阻塞Ursina主循环。示例代码：

from ursina import *
import cv2
import threading
import time

app = Ursina()

cube = Entity(model='cube', color=color.orange, scale=2)

# 控制线程运行的标志
run_opencv = True

def opencv_thread():
    cap = cv2.VideoCapture(0)
    while run_opencv:
        ret, frame = cap.read()
        if ret:
            cv2.imshow('Camera', frame)
            # 短间隔等待输入，避免线程阻塞
            if cv2.waitKey(1) & 0xFF == ord('q'):
                global run_opencv
                run_opencv = False
                break
        time.sleep(0.01)
    cap.release()
    cv2.destroyAllWindows()

# 启动OpenCV线程（守护线程随主程序退出）
threading.Thread(target=opencv_thread, daemon=True).start()

def update():
    cube.x += held_keys['d'] * 0.1
    cube.x -= held_keys['a'] * 0.1

def input(key):
    if key == 'escape':
        global run_opencv
        run_opencv = False
        application.quit()

app.run()

二、手势控制3D物体的可行性确认 #

完全可以实现，推荐实现流程：

• 手势检测：替换OpenCV tracker为更适配的工具，比如MediaPipe Hands——它能精准检测21个手部关键点，比普通tracker更适合手势动作分析
• 数据传递：在Ursina的update函数中读取手势检测结果（如手指位置、手势动作）
• 控制映射：将手势数据转换为3D物体操作，例如：
  • 手部左右移动 → 立方体X轴平移
  • 手部上下移动 → 立方体Y轴平移
  • 握拳/张开 → 立方体缩放
  • 手腕旋转 → 立方体旋转

内容的提问来源于stack exchange，提问作者Rishu XD