能否在PyQt5中使用OpenCV的cv2.setMouseCallback()实现鼠标交互？

当然可以实现！我之前做过类似的结合PyQt5和OpenCV的目标跟踪GUI项目，完全能满足你想要的用鼠标框选目标、获取光标位置的需求，甚至还能拓展更多功能。下面我给你详细拆解实现思路和完整代码示例：

虽然cv2.setMouseCallback()本身是绑定到OpenCV原生窗口的，但我们可以在PyQt5的控件上模拟这套逻辑——通过PyQt的鼠标事件（按下、移动、释放）来复刻OpenCV回调的功能，同时用OpenCV处理图像绘制，最后把处理后的图像显示在PyQt窗口里。这样既保留了你熟悉的OpenCV操作习惯，又能利用PyQt的GUI框架搭建完整应用。

• 第一步：搭建PyQt5主窗口，用QLabel作为图像显示控件（入门简单，也可以用QGraphicsView做更复杂的缩放）
• 第二步：实现OpenCV图像到PyQt可显示格式的转换（OpenCV是BGR格式，PyQt需要RGB的QImage）
• 第三步：在PyQt的鼠标事件函数里模拟OpenCV鼠标回调的逻辑：记录起始坐标、实时绘制矩形、结束时确认框选区域
• 第四步：集成OpenCV目标跟踪器，用框选的区域初始化跟踪，在视频/帧循环里更新跟踪结果

import sys
import cv2
from PyQt5.QtWidgets import (QApplication, QMainWindow, QLabel, 
                             QVBoxLayout, QWidget, QPushButton)
from PyQt5.QtGui import QImage, QPixmap
from PyQt5.QtCore import Qt, QTimer

class TrackerGUI(QMainWindow):
    def __init__(self):
        super().__init__()
        self.setWindowTitle("OpenCV + PyQt5 目标跟踪")
        self.setGeometry(100, 100, 800, 600)

        # 初始化变量
        self.drawing = False
        self.start_x, self.start_y = -1, -1
        self.tracker = None
        self.tracking = False

        # 加载视频/图像（这里用摄像头示例，也可以替换成视频文件）
        self.cap = cv2.VideoCapture(0)
        self.ret, self.frame = self.cap.read()
        self.frame_copy = self.frame.copy()

        # 搭建UI
        central_widget = QWidget()
        self.layout = QVBoxLayout(central_widget)
        
        self.image_label = QLabel()
        self.image_label.setAlignment(Qt.AlignCenter)
        self.layout.addWidget(self.image_label)

        self.track_btn = QPushButton("开始跟踪")
        self.track_btn.clicked.connect(self.toggle_tracking)
        self.layout.addWidget(self.track_btn)

        self.setCentralWidget(central_widget)

        # 定时器更新帧
        self.timer = QTimer()
        self.timer.timeout.connect(self.update_frame)
        self.timer.start(30)

    def cv2_to_qt(self, image):
        # 转换OpenCV BGR格式到PyQt RGB格式
        rgb_image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
        h, w, ch = rgb_image.shape
        bytes_per_line = ch * w
        q_image = QImage(rgb_image.data, w, h, bytes_per_line, QImage.Format_RGB888)
        return QPixmap.fromImage(q_image).scaled(self.image_label.size(), Qt.KeepAspectRatio)

    def update_frame(self):
        if self.ret:
            if self.tracking and self.tracker is not None:
                # 更新跟踪结果
                success, bbox = self.tracker.update(self.frame)
                if success:
                    x, y, w, h = [int(i) for i in bbox]
                    cv2.rectangle(self.frame, (x, y), (x+w, y+h), (0, 255, 0), 2)
                else:
                    cv2.putText(self.frame, "跟踪失败", (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0,0,255), 2)
            
            # 更新显示
            self.image_label.setPixmap(self.cv2_to_qt(self.frame))
            # 重置帧（避免绘制残留）
            self.frame = self.frame_copy.copy()
            self.ret, self.frame_copy = self.cap.read()

    def mousePressEvent(self, event):
        # 鼠标左键按下，开始绘制矩形
        if event.button() == Qt.LeftButton and not self.tracking:
            self.drawing = True
            # 转换控件坐标到图像实际坐标
            scale_x = self.frame_copy.shape[1] / self.image_label.width()
            scale_y = self.frame_copy.shape[0] / self.image_label.height()
            self.start_x = int(event.x() * scale_x)
            self.start_y = int(event.y() * scale_y)

    def mouseMoveEvent(self, event):
        # 鼠标移动时实时绘制矩形
        if self.drawing and not self.tracking:
            scale_x = self.frame_copy.shape[1] / self.image_label.width()
            scale_y = self.frame_copy.shape[0] / self.image_label.height()
            current_x = int(event.x() * scale_x)
            current_y = int(event.y() * scale_y)
            # 复制原帧避免残留
            self.frame = self.frame_copy.copy()
            cv2.rectangle(self.frame, (self.start_x, self.start_y), (current_x, current_y), (0, 0, 255), 2)

    def mouseReleaseEvent(self, event):
        # 鼠标释放，结束绘制
        if event.button() == Qt.LeftButton and self.drawing:
            self.drawing = False
            scale_x = self.frame_copy.shape[1] / self.image_label.width()
            scale_y = self.frame_copy.shape[0] / self.image_label.height()
            end_x = int(event.x() * scale_x)
            end_y = int(event.y() * scale_y)
            # 确保坐标是正的（避免从右下往左上画）
            x1 = min(self.start_x, end_x)
            y1 = min(self.start_y, end_y)
            x2 = max(self.start_x, end_x)
            y2 = max(self.start_y, end_y)
            self.bbox = (x1, y1, x2-x1, y2-y1)
            print(f"框选区域坐标：{self.bbox}")

    def toggle_tracking(self):
        # 切换跟踪状态
        if not self.tracking:
            if hasattr(self, 'bbox'):
                # 初始化跟踪器（这里用CSRT，也可以换KCF、MOSSE等）
                self.tracker = cv2.TrackerCSRT_create()
                self.tracker.init(self.frame_copy, self.bbox)
                self.tracking = True
                self.track_btn.setText("停止跟踪")
            else:
                print("请先框选目标区域！")
        else:
            self.tracking = False
            self.track_btn.setText("开始跟踪")
            self.tracker = None

    def closeEvent(self, event):
        # 关闭窗口时释放资源
        self.cap.release()
        self.timer.stop()
        event.accept()

if __name__ == "__main__":
    app = QApplication(sys.argv)
    window = TrackerGUI()
    window.show()
    sys.exit(app.exec_())

• 坐标转换：PyQt控件的鼠标坐标和OpenCV图像的实际坐标可能不一致（比如控件缩放了），所以必须通过缩放比例转换，确保框选的区域准确对应图像上的位置
• 图像刷新：每次绘制或跟踪后要重置帧，避免之前的绘制残留影响下一帧显示
• 跟踪器选择：OpenCV提供了多种跟踪器，比如CSRT精度高但速度慢，MOSSE速度快适合实时场景，可以根据需求替换
• 资源释放：关闭窗口时一定要释放摄像头/视频资源，避免内存泄漏

内容的提问来源于stack exchange，提问作者BestProgrammerEverDx