图像（光标）与OpenCV摄像头捕获坐标同步问题求助

核心问题分析 #

1. 坐标系差异：OpenCV以图像左上角为原点（x轴向右、y轴向下），而plt.imshow默认以左下角为原点（x轴向右、y轴向上），这是两类坐标数值差异的直接原因。
2. 分辨率映射错误：仅resize摄像头帧无法直接同步坐标，需要建立摄像头帧坐标到屏幕坐标的线性（或透视）映射关系。

分步解决方法 #

1. 统一OpenCV与matplotlib的坐标系 #

将matplotlib显示的坐标转换为OpenCV坐标系：

# 获取OpenCV捕获帧的真实高度
frame_height = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)
# matplotlib的y坐标转OpenCV的y坐标
cv_y = frame_height - plt_y
# x坐标两者逻辑一致，无需转换
cv_x = plt_x

验证你的例子：如果frame_height接近723（677+46），说明该转换完全匹配你的场景。

2. 建立摄像头坐标到屏幕坐标的映射 #

步骤1：获取准确的分辨率参数

• 摄像头帧真实分辨率：

cap = cv2.VideoCapture(0)
frame_width = cap.get(cv2.CAP_PROP_FRAME_WIDTH)
frame_height = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)

• 屏幕实际可用分辨率（避开菜单栏等系统占用区域）：

from AppKit import NSScreen
visible_frame = NSScreen.mainScreen().visibleFrame()
screen_width = visible_frame.size.width
screen_height = visible_frame.size.height

步骤2：线性映射坐标

将OpenCV输出的摄像头坐标(x_cv, y_cv)转换为屏幕坐标：

# x坐标映射
x_screen = (x_cv / frame_width) * screen_width
# y坐标映射
y_screen = (y_cv / frame_height) * screen_height

如果对摄像头帧做了resize操作，需用resize后的帧宽高替换上述的frame_width和frame_height。

3. 进阶：透视校准（应对摄像头视角偏移） #

如果摄像头非正对屏幕，线性映射精度不足，可通过透视变换校准：

1. 在屏幕上标记4个已知坐标的点（比如四个角落：(0,0)、(screen_width,0)、(screen_width,screen_height)、(0,screen_height)）。
2. 在摄像头帧中找到这4个点对应的OpenCV坐标pts_cv。
3. 计算透视变换矩阵并应用：

import numpy as np

# 屏幕目标坐标（示例）
pts_screen = np.float32([[0,0], [screen_width,0], [screen_width,screen_height], [0,screen_height]])
# 摄像头帧中对应的坐标
pts_cv = np.float32([[x1,y1], [x2,y2], [x3,y3], [x4,y4]])

# 计算透视变换矩阵
M = cv2.getPerspectiveTransform(pts_cv, pts_screen)

# 转换单个坐标点
def cv_to_screen(x_cv, y_cv):
    pts = np.float32([[x_cv, y_cv]]).reshape(-1,1,2)
    dst = cv2.perspectiveTransform(pts, M)
    return dst[0][0][0], dst[0][0][1]

内容的提问来源于stack exchange，提问作者ptn96