基于MediaPipe的摄像头手势识别系统运行报错求助

1. 解决 ValueError: Task is not initialized with the image mode. Current running mode:LIVE_STREAM #

该错误源于GestureRecognizer的运行模式与调用的处理方法不匹配。如果是摄像头实时流场景，需按以下步骤修正：

• 初始化时明确指定running_mode=RunningMode.LIVE_STREAM，同时必须设置结果回调函数
• 处理每一帧时，使用recognize_async方法（而非IMAGE模式的recognize方法），并传入当前帧的毫秒级时间戳

示例初始化代码：

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

# 初始化配置
base_options = python.BaseOptions(model_asset_path='gesture_recognizer.task')
options = vision.GestureRecognizerOptions(
    base_options=base_options,
    running_mode=vision.RunningMode.LIVE_STREAM,
    result_callback=handle_gesture_result  # 绑定回调函数处理识别结果
)
recognizer = vision.GestureRecognizer.create_from_options(options)

帧处理代码：

import time

# 读取摄像头帧
ret, frame = cap.read()
if not ret:
    break

# 转换为MediaPipe格式的图像
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=frame)

# 获取当前毫秒级时间戳
timestamp = int(time.time() * 1000)

# 异步处理帧，结果由回调函数接收
recognizer.recognize_async(mp_image, timestamp)

回调函数示例：

def handle_gesture_result(result, output_image, timestamp):
    # 处理识别结果，比如提取手势名称
    if result.gestures:
        top_gesture = result.gestures[0][0]
        gesture_name = top_gesture.category_name
        # 后续绘图需先转换图像格式

2. 解决 cv2.putText参数错误：img不是numpy数组或标量 #

该错误是因为传给cv2.putText的图像不是OpenCV兼容的numpy数组，通常是直接使用了MediaPipe返回的output_image对象。需先将其转换为numpy数组：

# 在回调函数中转换图像格式
frame = output_image.numpy_view()
# 此时可正常调用cv2.putText
cv2.putText(frame, gesture_name, (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2)

如果是在主循环中绘图，确保传入的是摄像头读取的原生frame（本身就是numpy数组），而非其他格式对象。

关键注意事项 #

• 严格匹配运行模式与处理方法：LIVE_STREAM用recognize_async+回调，IMAGE用recognize，VIDEO用recognize_for_video
• 所有OpenCV绘图操作的图像必须是numpy数组，MediaPipe Image对象需通过numpy_view()转换
• 实时流模式下必须传入正确的毫秒级时间戳，否则会触发处理异常

内容的提问来源于stack exchange，提问作者Ahamad Mamun Nishar Miya