能否在OpenCV鼠标事件回调内设置或更新光标坐标？

我开发了一个虚拟键盘，希望实现当光标悬停在按钮上时，将其锁定在按钮中点的功能。请问能否在OpenCV鼠标事件中设置或更新光标坐标？

当前鼠标回调函数 #

def on_mouse(self, event, x, y, flags, param):
        global x1, y1
        if event == cv2.EVENT_MOUSEMOVE:
            x1, y1 = x, y
            for button in self.button_list:
                if button.is_hovered_over(x1, y1):
                    # set the cursor coordinates here

主函数代码 #

import cv2
cap = cv2.VideoCapture(0)

from pynput.mouse import Button, Controller
mouse = Controller()

from keyboards import QWERTYKeyboard
keyboard = QWERTYKeyboard.QWERTYKeyboard()

cv2.namedWindow("Image", cv2.WND_PROP_FULLSCREEN)
cv2.setWindowProperty("Image", cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)
cv2.setMouseCallback("Image", keyboard.on_mouse)

while cap.isOpened():
    success, image = cap.read()
    .
    .
    .
    pred_x, pred_y = model.predict(ave_x, ave_y)

    cv2.circle(image, (ave_x, ave_y), 1, (255, 0, 0), 5)

    mouse.position = (pred_x, pred_y)

    cv2.imshow("Image", image)

    if cv2.waitKey(1) & 0xFF == 27:
      break

  cv2.destroyAllWindows()

cap.release()

可以实现这个功能，但要注意两个核心点：OpenCV鼠标回调本身无法直接修改系统光标位置，得用你已经引入的pynput.mouse.Controller操作；另外要避免主循环和回调的光标设置冲突——因为你在主循环里持续设置mouse.position = (pred_x, pred_y)，直接在回调里修改会被覆盖。

具体修改步骤：

1. 给QWERTYKeyboard类添加状态变量，标记是否锁定光标，以及存储目标坐标：

class QWERTYKeyboard:
    def __init__(self):
        # 其他初始化代码
        self.lock_cursor = False
        self.target_pos = None

2. 修改鼠标回调函数，检测悬停时更新锁定状态和目标坐标：

def on_mouse(self, event, x, y, flags, param):
        global x1, y1
        if event == cv2.EVENT_MOUSEMOVE:
            x1, y1 = x, y
            # 默认不锁定，重置状态
            self.lock_cursor = False
            self.target_pos = None
            for button in self.button_list:
                if button.is_hovered_over(x1, y1):
                    # 获取按钮中点（假设Button类有get_center()方法返回窗口内坐标）
                    btn_center_x, btn_center_y = button.get_center()
                    # 把窗口坐标转成系统屏幕坐标（全屏窗口可直接用窗口坐标，非全屏需计算窗口位置缩放）
                    screen_x, screen_y = self.map_window_to_screen(btn_center_x, btn_center_y)
                    self.lock_cursor = True
                    self.target_pos = (screen_x, screen_y)

# 示例坐标映射函数（非全屏时用）
def map_window_to_screen(self, win_x, win_y):
    # 获取OpenCV窗口的屏幕位置和尺寸
    win_rect = cv2.getWindowImageRect("Image")
    win_left, win_top, win_width, win_height = win_rect
    # 计算缩放比例（假设窗口内容是等比例显示）
    scale_x = win_width / self.keyboard_width  # self.keyboard_width是虚拟键盘的原始宽度
    scale_y = win_height / self.keyboard_height
    # 转换为屏幕坐标
    screen_x = win_left + int(win_x * scale_x)
    screen_y = win_top + int(win_y * scale_y)
    return screen_x, screen_y

3. 修改主循环的光标设置逻辑，优先使用锁定状态的坐标：

while cap.isOpened():
    success, image = cap.read()
    .
    .
    .
    pred_x, pred_y = model.predict(ave_x, ave_y)

    cv2.circle(image, (ave_x, ave_y), 1, (255, 0, 0), 5)

    # 优先应用锁定的光标位置
    if keyboard.lock_cursor and keyboard.target_pos is not None:
        mouse.position = keyboard.target_pos
    else:
        mouse.position = (pred_x, pred_y)

    cv2.imshow("Image", image)

    if cv2.waitKey(1) & 0xFF == 27:
      break

cv2.destroyAllWindows()
cap.release()

关键说明：

• 坐标映射是核心：虚拟键盘的按钮坐标基于OpenCV窗口，而pynput操作的是系统屏幕坐标，必须做对应转换。如果窗口是全屏状态，窗口坐标和屏幕坐标基本一致，可以简化映射逻辑。
• 状态控制避免冲突：通过类变量传递锁定状态，让主循环决定最终的光标位置，不会出现回调设置被主循环覆盖的问题。

内容的提问来源于stack exchange，提问作者tayron.vikranth