在GTK中实现OpenCV视频线程化并保留事件响应

问题根源 #

1. 视频读取阻塞主线程：cv2.VideoCapture.read()在网络摄像头场景下会产生IO阻塞，直接在GTK主线程（事件循环线程）执行会卡住UI事件处理，导致点击、悬停事件无法响应。
2. 事件处理的两个错误：
   • Gtk.Image默认不接收输入事件，需要用EventBox包裹并开启事件掩码；
   • 事件回调函数的参数顺序错误，导致回调无法正常触发。
3. 线程方案使用不当：之前的线程调用未实现循环读取逻辑，也未将UI更新操作正确抛回主线程。

修复方案 #

1. 子线程负责视频读取，主线程更新UI #

将视频帧的读取逻辑放到独立线程中，避免阻塞GTK事件循环。每次读取到有效帧后，通过GLib.idle_add将UI更新任务提交到主线程执行（GTK要求所有UI操作必须在主线程）。

2. 用EventBox包裹Gtk.Image并配置事件掩码 #

Gtk.Image本身不处理输入事件，需要将其放入EventBox，同时为EventBox添加Gdk.EventMask.BUTTON_PRESS_MASK和Gdk.EventMask.POINTER_MOTION_MASK掩码，确保能接收点击和悬停事件。

3. 修正事件回调的参数顺序 #

GTK事件回调的标准格式是(widget, event)，调整回调函数参数顺序，避免参数不匹配导致的事件触发失败。

修改后的完整代码 #

import cv2
import threading

import gi
gi.require_version('Gtk', '3.0')
from gi.repository import GLib, Gtk, GdkPixbuf, Gdk

vdo_url = "http://my_cam/vdo.mjpg"  # 替换为你的摄像头地址

class Cam_GTK(Gtk.Window):
    def __init__(self):
        Gtk.Window.__init__(self, title="Cam GTK")
        self.set_default_size(640, 480)

        # 初始化视频捕获
        self.capture = cv2.VideoCapture(vdo_url)
        self.running = True  # 控制子线程运行的标志

        # 创建EventBox包裹Image，用于处理输入事件
        self.event_box = Gtk.EventBox()
        self.video = Gtk.Image.new()
        self.event_box.add(self.video)

        # 配置EventBox的事件掩码，开启点击和悬停事件
        self.event_box.set_events(Gdk.EventMask.BUTTON_PRESS_MASK | 
                                  Gdk.EventMask.POINTER_MOTION_MASK)
        # 绑定事件回调
        self.event_box.connect("button-press-event", self.on_video_clicked)
        self.event_box.connect("motion-notify-event", self.on_video_hover)

        # 布局容器
        page_box = Gtk.Box(orientation=Gtk.Orientation.VERTICAL, spacing=1)
        page_box.pack_start(self.event_box, True, True, 0)
        self.add(page_box)

        # 启动视频读取子线程
        self.video_thread = threading.Thread(target=self.read_frames)
        self.video_thread.daemon = True  # 随主线程退出而终止
        self.video_thread.start()

        self.connect("destroy", self.on_destroy)
        self.show_all()

    def on_destroy(self, widget):
        # 停止子线程并释放资源
        self.running = False
        self.capture.release()
        Gtk.main_quit()

    def on_video_hover(self, widget, event):
        print("video hover")

    def on_video_clicked(self, widget, event):
        print(f"video clicked, button: {event.button}")

    def update_frame(self, frame):
        # 将OpenCV帧转换为GdkPixbuf并更新Image
        frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
        pixbuf = GdkPixbuf.Pixbuf.new_from_data(
            frame_rgb.tobytes(),
            GdkPixbuf.Colorspace.RGB,
            False,
            8,
            frame_rgb.shape[1],
            frame_rgb.shape[0],
            frame_rgb.shape[2] * frame_rgb.shape[1]
        )
        self.video.set_from_pixbuf(pixbuf.copy())
        return False  # 只执行一次，不需要重复调度

    def read_frames(self):
        # 子线程循环读取视频帧
        while self.running:
            ret, frame = self.capture.read()
            if ret:
                # 通过GLib.idle_add将UI更新提交到主线程
                GLib.idle_add(self.update_frame, frame)
            # 可选：添加小延迟，降低CPU占用
            # cv2.waitKey(1)

if __name__ == "__main__":
    cam = Cam_GTK()
    Gtk.main()

关键修改说明 #

• 子线程读取帧：read_frames作为子线程入口，循环读取视频，避免阻塞主线程；
• UI更新异步化：用GLib.idle_add(self.update_frame, frame)将帧更新操作抛回主线程，符合GTK的线程安全要求；
• EventBox事件配置：为EventBox设置正确的事件掩码，确保能接收输入事件；
• 回调参数修正：调整on_video_hover和on_video_clicked的参数顺序为(widget, event)，匹配GTK事件回调的标准格式；
• 线程终止控制：添加self.running标志，在窗口销毁时停止子线程并释放视频捕获资源。

内容的提问来源于stack exchange，提问作者s4mdf0o1