如何实现单窗口展示手语识别(SLR)的多视频流预处理结果？

之前基于Tkinter实现多流展示失败，核心原因有三个：

• 同一个摄像头对象cap被两个独立函数各调用一次read()，导致摄像头帧缓冲错乱，出现丢帧、抽帧重复的问题
• 两个Frame的grid布局完全重叠在row=0, column=0位置，界面元素互相覆盖
• 没有统一的帧处理流程，两个函数各自执行一遍读帧逻辑，运算重复且结果不同步

方案1：OpenCV 自拼接单窗口（推荐，改动量最小） #

不需要引入额外GUI框架，完全兼容你现有SLR预处理、模型加载逻辑，直接用OpenCV本身的图像拼接功能，把4路处理结果按2x2网格拼接到同一张画布上，只弹出一个展示窗口。
核心实现逻辑：

1. 统一所有子图的显示尺寸，将单通道的灰度图、二值图转换为3通道格式，方便和彩色图对齐拼接
2. 先按行横向拼接，再按列纵向拼接成完整的大展示画布
3. 在每个子区域添加文字标注，明确区分不同处理步骤的结果
   替换原有循环内的多窗口展示代码即可，关键代码片段：

# 统一子图显示尺寸
display_size = (300, 300)
# 各处理结果预处理为可拼接格式
frame_display = cv2.resize(frame, display_size)
gray_display = cv2.cvtColor(gray_roi, cv2.COLOR_GRAY2BGR)
gray_display = cv2.resize(gray_display, display_size)
threshed_display = cv2.cvtColor(threshed, cv2.COLOR_GRAY2BGR)
threshed_display = cv2.resize(threshed_display, display_size)
masked_display = cv2.resize(masked, display_size)

# 2x2网格拼接画布
top_row = np.hstack((frame_display, gray_display))
bottom_row = np.hstack((threshed_display, masked_display))
final_canvas = np.vstack((top_row, bottom_row))

# 子区域标注
cv2.putText(final_canvas, "主采集帧", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0,255,0), 2)
cv2.putText(final_canvas, "灰度ROI", (310, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0,255,0), 2)
cv2.putText(final_canvas, "二值化结果", (10, 330), cv2.FONT_HERSHEY_SIMPLEX, 1, (0,255,0), 2)
cv2.putText(final_canvas, "掩码融合结果", (310, 330), cv2.FONT_HERSHEY_SIMPLEX, 1, (0,255,0), 2)

# 单窗口展示
cv2.imshow("SLR预处理全流程可视化", final_canvas)

方案2：修正后的Tkinter GUI方案 #

如果后续需要在界面上加交互按钮、参数调节控件，可直接修正原有Tkinter代码的bug，实现稳定的单窗口多区域展示，核心修复点：

• 全局只调用一次cap.read()读取摄像头帧，所有处理结果从这一帧派生，杜绝重复读摄像头的问题
• 重新规划网格布局，将4个展示控件按2行2列排布，不再重叠
• 所有图像处理逻辑放在同一个帧更新函数中，通过after()定时调度，不再开独立的定时函数
• 每次更新图像时，将PhotoImage对象绑定到Label实例的属性上，避免Python垃圾回收导致的图像白屏问题
  修正后可直接运行的核心代码：

from tkinter import *
from PIL import ImageTk, Image
import cv2
import numpy as np

# 原有SLR处理参数
top_ROI = 100
btm_ROI = 300
right_ROI = 50
left_ROI = 250
blur_size = 5
dilate_iter = 10
erode_iter = 10
mask_color = (0.0,0.0,0.0)

root = Tk()
root.title("SLR预处理流程展示")
# 2行2列排布4个展示标签
label_main = Label(root)
label_main.grid(row=0, column=0, padx=10, pady=10)
label_roi = Label(root)
label_roi.grid(row=0, column=1, padx=10, pady=10)
label_thresh = Label(root)
label_thresh.grid(row=1, column=0, padx=10, pady=10)
label_masked = Label(root)
label_masked.grid(row=1, column=1, padx=10, pady=10)

cap = cv2.VideoCapture(0)

def update_frame():
    # 全局统一读取一次摄像头帧
    ret, frame = cap.read()
    if not ret:
        label_main.after(10, update_frame)
        return
    
    # 原有预处理逻辑（和你之前的代码完全一致）
    cv2.rectangle(frame, (left_ROI, top_ROI), (right_ROI,btm_ROI), (255,128,0), 3)
    roi = frame[top_ROI:btm_ROI, right_ROI:left_ROI]
    roi = cv2.resize(roi, (300, 300))
    blurred_roi = cv2.GaussianBlur(roi, (blur_size,blur_size) , 0)
    gray_roi = cv2.cvtColor(blurred_roi, cv2.COLOR_BGR2GRAY)
    _,threshed = cv2.threshold(gray_roi, 100, 255, cv2.THRESH_BINARY_INV)
    
    contours,_= cv2.findContours(threshed, cv2.RETR_LIST, cv2.CHAIN_APPROX_NONE)
    contour_info = [(c, cv2.contourArea(c)) for c in contours]
    contour_info = sorted(contour_info, key=lambda x: x[1], reverse=True)
    max_contour = contour_info[0]
    mask = np.zeros(threshed.shape)
    cv2.fillConvexPoly(mask, max_contour[0], (255))
    mask = cv2.dilate(mask, None, iterations=dilate_iter)
    mask = cv2.erode(mask, None, iterations=erode_iter)
    mask = cv2.GaussianBlur(mask, (blur_size, blur_size), 0)
    mask_stack = np.dstack([mask]*3)
    mask_stack  = mask_stack.astype('float32') / 255.0
    roi_float = roi.astype('float32') / 255.0
    masked = (mask_stack * roi_float) + ((1-mask_stack) * mask_color)
    masked = (masked * 255).astype('uint8') 

    # 通用转换函数：OpenCV图像转Tkinter可显示格式
    def cv_to_tk(img):
        img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        img_pil = Image.fromarray(img_rgb)
        return ImageTk.PhotoImage(image=img_pil)

    # 逐区更新图像
    imgtk_main = cv_to_tk(cv2.resize(frame, (400,300)))
    label_main.imgtk = imgtk_main
    label_main.configure(image=imgtk_main)

    imgtk_roi = cv_to_tk(gray_roi)
    label_roi.imgtk = imgtk_roi
    label_roi.configure(image=imgtk_roi)

    imgtk_thresh = cv_to_tk(threshed)
    label_thresh.imgtk = imgtk_thresh
    label_thresh.configure(image=imgtk_thresh)

    imgtk_masked = cv_to_tk(masked)
    label_masked.imgtk = imgtk_masked
    label_masked.configure(image=imgtk_masked)

    # 定时调度下一帧更新
    label_main.after(1, update_frame)

# 启动帧更新流程
update_frame()
root.mainloop()
cap.release()

内容的提问来源于stack exchange，提问作者Willy Wijaya