OpenCV鼠标回调坐标与pynput鼠标位置不一致问题咨询

坐标体系本质差异 #

OpenCV鼠标回调返回的(x,y)是窗口内部的相对坐标（原点在窗口左上角），而pynput.mouse获取的mouse.position是系统全局屏幕坐标（原点在屏幕左上角），两者本身就不属于同一坐标系，偏移是必然的。而偏移量不稳定，主要由以下几个核心因素导致：

1. 系统DPI缩放适配问题
   当系统开启高DPI缩放（比如Windows的125%/150%缩放）时，OpenCV的全屏窗口往往没有正确处理DPI适配，导致窗口内部像素和系统屏幕像素无法实现1:1映射。这种映射关系可能因为窗口渲染的微小波动、系统动态调整DPI（比如多显示器切换）而出现不稳定的偏移。

2. 图像拉伸的影响
   摄像头捕获的图像分辨率和全屏窗口的分辨率通常不一致，cv2.imshow会自动拉伸图像填充窗口。如果拉伸不是严格等比例，或者窗口渲染时存在细微的偏移/裁剪，会导致OpenCV窗口内的坐标和全局坐标的对应关系出现波动。

3. 事件触发的时间差
   OpenCV鼠标回调的触发和pynput读取鼠标位置之间存在微小时间差，若鼠标在这段时间内移动，也会造成坐标差异，但这种差异通常很小，不是偏移不稳定的主要原因。

解决思路 #

• 修正DPI缩放影响：在Windows平台，可以通过ctypes调用系统API获取DPI缩放比例，将pynput的全局坐标转换为窗口相对坐标时乘以缩放系数；或者在程序启动时设置DPI感知。
• 统一图像与窗口分辨率：获取屏幕分辨率，将摄像头捕获的图像resize到屏幕分辨率后再显示，确保图像填充窗口时没有拉伸偏移，让窗口内坐标和全局坐标的映射更稳定。
• 基于窗口位置的坐标转换：通过系统API（如Windows的win32gui）获取OpenCV窗口在屏幕上的左上角坐标，将pynput的全局坐标减去该左上角坐标，得到窗口相对坐标，再和OpenCV回调的坐标对比，消除窗口位置带来的偏移。

举个简单的坐标转换示例（Windows平台，需安装pywin32）：

import win32gui

def get_window_pos(window_name):
    hwnd = win32gui.FindWindow(None, window_name)
    rect = win32gui.GetWindowRect(hwnd)
    return rect[0], rect[1]  # 窗口左上角的全局x,y

# 在回调中添加转换
def on_mouse(event, x, y, flags, param):
    if event == cv2.EVENT_MOUSEMOVE:
        win_x, win_y = get_window_pos("Image")
        global_x, global_y = mouse.position
        converted_x = global_x - win_x
        converted_y = global_y - win_y
        print("opencv: ", (x, y))
        print("pynput转换后: ", (converted_x, converted_y))

内容的提问来源于stack exchange，提问作者tayron.vikranth