GTA5手势控制代码按键仅在部分软件生效问题求助

核心原因 #

GTA5这类3A游戏采用DirectInput/Raw Input直接读取硬件输入，而pyautogui的按键模拟基于Windows消息循环（SendMessage/PostMessage），无法被这类高权限、全屏运行的游戏程序捕获。

解决方案 #

1. 改用底层输入模拟库（优先用你已导入的pynput） #

替换代码中pyautogui.press的调用，改用pynput.keyboard.Controller模拟按键——它基于更底层的输入机制，能被游戏识别。同时添加按键状态跟踪，避免重复触发或持续按住异常。

修改后的完整代码片段（重点在print_result函数）：

from pyautogui import press, typewrite, hotkey
import cv2 as cv
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
from pynput.keyboard import Key, Controller

keyboard = Controller()
# 新增全局变量跟踪当前按住的按键
current_pressed_key = ""

model_path = r'C:\Users\Saransh\PycharmProjects\OpenCV\gesture_recognizer.task'                                         
BaseOptions = mp.tasks.BaseOptions                                                                                      
GestureRecognizer = mp.tasks.vision.GestureRecognizer
GestureRecognizerOptions = mp.tasks.vision.GestureRecognizerOptions
GestureRecognizerResult = mp.tasks.vision.GestureRecognizerResult
VisionRunningMode = mp.tasks.vision.RunningMode

def print_result(result: GestureRecognizerResult,output_image: mp.Image,timestamp_ms: int):
    global current_pressed_key
    if isinstance(result.gestures, list) and result.gestures:
        gesture = result.gestures[0][0]
        # 增加置信度过滤，减少误触发
        if gesture.score < 0.8:
            return
        gesture_name = gesture.category_name
        print(gesture_name)
        
        # 先松开之前按住的键
        if current_pressed_key:
            keyboard.release(current_pressed_key)
            current_pressed_key = ""
        
        # 根据手势按住对应按键
        if gesture_name == 'Pointing_Up':
            keyboard.press('w')
            current_pressed_key = 'w'
        elif gesture_name == 'Victory':
            keyboard.press('d')
            current_pressed_key = 'd'
        elif gesture_name == 'ILoveYou':
            keyboard.press('a')
            current_pressed_key = 'a'
        elif gesture_name == 'Closed_Fist':
            keyboard.press('s')
            current_pressed_key = 's'
    else:
        # 无识别手势时松开所有按键
        if current_pressed_key:
            keyboard.release(current_pressed_key)
            current_pressed_key = ""

options = GestureRecognizerOptions(                                                                                     
    base_options= BaseOptions(model_asset_path="C:\\Users\\Saransh\\PycharmProjects\\OpenCV\\gesture_recognizer.task"),
    running_mode =VisionRunningMode.LIVE_STREAM,                
    result_callback=print_result)                               

cap= cv.VideoCapture(0)
frame_timestamp_ms = 0
with GestureRecognizer.create_from_options(options) as recognizer:
        while cap.read():
            res,frame=cap.read()
            if(res==False):
                break
            frame=cv.flip(frame,1)
            frame=cv.cvtColor(frame, cv.COLOR_BGR2RGB)
            k=cv.waitKey(1)
            mp_image=mp.Image(image_format=mp.ImageFormat.SRGB,data=frame)
            recognizer.recognize_async(mp_image,frame_timestamp_ms)
            frame_timestamp_ms+=1
        cap.release()
        cv.destroyAllWindows()

2. 以管理员权限运行脚本 #

右键点击你的Python脚本或PyCharm，选择以管理员身份运行——如果GTA5以管理员权限启动，普通权限的程序无法向它发送输入指令。

3. 调整GTA5运行模式 #

• 将GTA5设置为窗口化/无边框窗口模式：全屏独占模式可能屏蔽普通输入模拟，窗口化模式兼容性更好。
• 确认GTA5的按键设置无冲突，确保W/A/S/D是车辆控制的默认快捷键。

4. 备选方案：调用Windows底层SendInput API #

如果pynput仍无效，可直接调用Windows的SendInput API模拟硬件级输入：
首先安装依赖：

pip install pywin32

然后编写按键模拟函数替换原有逻辑：

import win32api
import win32con

# 虚拟键码映射
KEY_MAP = {
    'w': win32con.VK_W,
    'a': win32con.VK_A,
    's': win32con.VK_S,
    'd': win32con.VK_D
}

def press_key(key):
    win32api.keybd_event(KEY_MAP[key], 0, 0, 0)

def release_key(key):
    win32api.keybd_event(KEY_MAP[key], 0, win32con.KEYEVENTF_KEYUP, 0)

额外优化建议 #

• 增加手势识别的置信度阈值（如score > 0.8），减少误触发。
• 添加防抖逻辑，避免短时间内频繁切换按键导致游戏响应异常。

内容的提问来源于stack exchange，提问作者Saransh Mehra