Python+OpenCV游戏红色边框检测优化方案咨询

我正尝试使用Python结合OpenCV检测游戏中的红色边框，但当前采用红色边框小截图模板匹配的方法存在大量假阳性检测或完全漏检的问题。

游戏截图示例：

当前使用的代码片段：

# Define redborder image paths
redborder_image_paths = [
    'bottomLeftBorder.png',
    'bottomRightBorder.png',
    #'topLeftBorder.png',
    'topRightBorder.png',
    'topRightMaxBorder.png',
    'topLeftBorderMaxZoom.png',
    'topleftMaxZoom.png',
    'bottomLeftMaxZoom.png',
    'topRightBorderMaxZoom.png',
    'topRightBorderGreenMap.png',
    'bottomRightBorderGreenMap.png',
    'topRightBorderOutBoundMaxZoom.png',
    'bottomLeftBorderMaxZoomOutBound.png',
    'topleftbordermaxZoomhole.png',
]  

# Calculate the distances from the townhall image to each found redborder image
for border_index, border_gray in enumerate(redborder_images_gray):
    result_border = cv2.matchTemplate(screenshot_gray, border_gray, cv2.TM_CCOEFF_NORMED)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result_border)
    print(f"Border Image caculating.. ({redborder_image_paths[border_index]}): Confidence: {max_val}")

当前方案偶尔有效，但常出现置信度高于0.8的假阳性结果，且会漏检部分应被识别的近距边框。用OpenCV检测其他结构效果良好，仅红色边框检测存在难题，希望获取更优检测逻辑。

1. 基于颜色空间的红色区域提取 #

模板匹配对缩放、旋转、光照变化鲁棒性差，红色边框的核心特征是颜色，优先从颜色入手：

• 转换图像到HSV颜色空间（比RGB更适合颜色分割），定义红色的HSV范围（红色有两个区间：低饱和度和高饱和度部分）
• 提取红色掩码后，做形态学操作（膨胀+腐蚀）去除噪声，再通过轮廓检测筛选符合边框形态的区域

示例代码：

import cv2
import numpy as np

def detect_red_borders(image_path):
    img = cv2.imread(image_path)
    hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
    
    # 定义红色的HSV范围（根据实际截图调整阈值）
    lower_red1 = np.array([0, 120, 70])
    upper_red1 = np.array([10, 255, 255])
    lower_red2 = np.array([170, 120, 70])
    upper_red2 = np.array([180, 255, 255])
    
    mask1 = cv2.inRange(hsv, lower_red1, upper_red1)
    mask2 = cv2.inRange(hsv, lower_red2, upper_red2)
    red_mask = cv2.bitwise_or(mask1, mask2)
    
    # 形态学操作去噪
    kernel = np.ones((3,3), np.uint8)
    red_mask = cv2.morphologyEx(red_mask, cv2.MORPH_CLOSE, kernel)
    red_mask = cv2.morphologyEx(red_mask, cv2.MORPH_OPEN, kernel)
    
    # 轮廓检测
    contours, _ = cv2.findContours(red_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    
    # 筛选符合边框形态的轮廓（根据实际边框调整面积、宽高比阈值）
    border_contours = []
    for cnt in contours:
        area = cv2.contourArea(cnt)
        x, y, w, h = cv2.boundingRect(cnt)
        aspect_ratio = w / h
        if area > 500 and (aspect_ratio > 5 or aspect_ratio < 0.2):
            border_contours.append(cnt)
    
    # 绘制检测结果
    cv2.drawContours(img, border_contours, -1, (0,255,0), 2)
    cv2.imshow("Red Borders", img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

2. 改进模板匹配策略 #

如果坚持用模板匹配，可做以下优化：

• 多尺度匹配：对输入截图进行多尺度缩放，分别匹配模板，解决缩放导致的漏检
• 非极大值抑制（NMS）：过滤重叠的高置信度匹配结果，减少假阳性
• 动态阈值调整：不要固定0.8阈值，根据不同模板的实际匹配效果设置对应阈值

示例多尺度匹配代码片段：

def multi_scale_template_match(screenshot_gray, template_gray, scale_range=(0.5, 1.5), step=0.1):
    max_confidence = 0
    best_loc = None
    best_scale = 1.0
    
    h, w = template_gray.shape
    for scale in np.arange(scale_range[0], scale_range[1], step):
        resized_template = cv2.resize(template_gray, (int(w*scale), int(h*scale)))
        if resized_template.shape[0] > screenshot_gray.shape[0] or resized_template.shape[1] > screenshot_gray.shape[1]:
            continue
        result = cv2.matchTemplate(screenshot_gray, resized_template, cv2.TM_CCOEFF_NORMED)
        _, current_max, _, current_loc = cv2.minMaxLoc(result)
        if current_max > max_confidence:
            max_confidence = current_max
            best_loc = current_loc
            best_scale = scale
    
    return max_confidence, best_loc, best_scale

3. 结合边缘检测 #

红色边框通常是高对比度线条，可结合Canny边缘检测：

• 先提取图像边缘，再对边缘图像做模板匹配，或者直接检测长线条边缘
• 边缘检测能过滤掉颜色相似但无边界结构的区域，减少假阳性

4. 模板分类与场景匹配 #

如果必须使用模板，针对不同场景（缩放比例、地图背景、边界状态）对模板分组：

• 将模板按近距、远距、绿色地图背景等场景分类，匹配时先判断当前截图场景，再选用对应组的模板，减少无效匹配

内容的提问来源于stack exchange，提问作者Nathan Guzman