OpenCV检测Netflix仪表盘缩略图矩形准确率低问题求助

先看你的腐蚀处理结果图，没被检测到的缩略图在预处理后轮廓已经断裂或者被过度腐蚀掉了，这是核心问题。结合你的代码，从以下几个方向调整：

1. 修复预处理流程，保留完整轮廓 #

你当前只用了腐蚀，会把本来就薄弱的轮廓（比如部分缩略图的边缘）彻底磨掉。换成闭运算（先膨胀再腐蚀），既能补全断裂的轮廓，又能去除小噪点：

# 替换原来的erosion代码
kernel = np.ones((3,3), np.uint8)  # 缩小核尺寸，避免过度腐蚀
# 闭运算补全轮廓
closing = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)

2. 优化HSV阈值，减少干扰 #

你设置的HSV范围几乎包含了所有颜色，mask里会混入大量无关区域，干扰轮廓提取。观察Netflix界面的特点，缩略图卡片的背景是深色，缩略图本身是亮色内容，可以针对性缩小HSV范围，或者直接转灰度用自适应阈值：

# 替换HSV的预处理为灰度+自适应阈值
gray = cv2.cvtColor(img_copy, cv2.COLOR_BGR2GRAY)
# 自适应阈值处理，适合明暗不均的界面
thresh = cv2.adaptiveThreshold(gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 11, 2)

这样能更精准地分离缩略图和深色背景，得到更干净的轮廓。

3. 调整轮廓提取与近似参数 #

• 用RETR_EXTERNAL只提取最外层轮廓，避免内部的文字、图标轮廓干扰
• 缩小epsilon值，让轮廓近似更精准，更容易识别出4边形
• 除了边数，增加宽高比判断（Netflix缩略图接近16:9，或者根据实际尺寸调整）

修改后的轮廓处理代码：

# 用RETR_EXTERNAL提取最外层轮廓
contours, _ = cv2.findContours(closing, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

for contour in contours:
    area = cv2.contourArea(contour)
    # 先过滤太小的区域，减少计算
    if area < 8000:  # 根据实际缩略图面积调整
        continue
    epsilon = 0.02 * cv2.arcLength(contour, True)
    approx = cv2.approxPolyDP(contour, epsilon, True)
    
    if len(approx) == 4:
        x, y, w, h = cv2.boundingRect(contour)
        # 增加宽高比过滤，匹配Netflix缩略图比例
        aspect_ratio = float(w)/h
        if 1.5 <= aspect_ratio <= 2.0:  # 16:9的比例是1.77左右
            cv2.rectangle(img_copy, (x, y), (x + w, y + h), (0, 255, 0), 2)

完整修改后的代码 #

import cv2
import numpy as np

img = cv2.imread("./photos/photo.png")

while True:
    img_copy = img.copy()
    
    # 灰度转换+自适应阈值，替代原HSV处理
    gray = cv2.cvtColor(img_copy, cv2.COLOR_BGR2GRAY)
    thresh = cv2.adaptiveThreshold(gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 11, 2)
    
    # 闭运算补全轮廓
    kernel = np.ones((3,3), np.uint8)
    closing = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel)
    
    # 提取最外层轮廓
    contours, _ = cv2.findContours(closing, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    
    for contour in contours:
        area = cv2.contourArea(contour)
        if area < 8000:
            continue
        epsilon = 0.02 * cv2.arcLength(contour, True)
        approx = cv2.approxPolyDP(contour, epsilon, True)
        
        if len(approx) == 4:
            x, y, w, h = cv2.boundingRect(contour)
            aspect_ratio = float(w)/h
            if 1.5 <= aspect_ratio <= 2.0:
                cv2.rectangle(img_copy, (x, y), (x + w, y + h), (0, 255, 0), 2)
    
    cv2.imshow("Image with Contours", img_copy)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cv2.destroyAllWindows()

为什么之前的代码漏检？ #

• 过度腐蚀把部分缩略图的边缘轮廓磨没了，导致无法被识别为4边形
• HSV范围太宽，mask里混入大量干扰轮廓，挤占了有效轮廓的识别
• RETR_TREE提取了过多内部轮廓，干扰了外层卡片的判断
• epsilon值太大，轮廓近似时把4边形变成了更少的边数，或者合并了部分边缘

内容的提问来源于stack exchange，提问作者Baptiste Lemonnier