OpenCV摄像头边界误识别问题解决：移除画面外框并实现内部物体检测

嘿，我来帮你搞定这个只认外框、不理中间物体的检测问题！咱们先拆解下代码里的核心问题，再一步步调整修复。

问题根源分析 #

从你的描述和代码来看，问题主要出在阈值处理逻辑和轮廓过滤规则上：

1. 固定阈值cv.threshold在背景（比如桌面/墙面）和物体灰度差异不大时，很容易把整个画面边缘当成一个超大轮廓（就是你看到的绿色外框）。
2. 没有设置规则过滤掉这个接近画面尺寸的外框轮廓，导致它一直被绘制出来。
3. 形状因子（formFactor）的判断没有针对性，可能把真正的物体轮廓过滤掉，反而留下了外框。

具体修改方案 #

1. 替换固定阈值为自适应阈值

固定阈值在光线变化、背景不均匀时效果极差，换成自适应阈值能根据局部区域的亮度动态调整阈值，更好地分离物体和背景：
把detectCookie里的固定阈值代码：

_, self.thresh = cv.threshold(self.blur, 75, 255, 0, cv.THRESH_BINARY)

改成：

# 自适应阈值（反二值化，让物体为白色、背景为黑色，更利于轮廓检测）
self.thresh = cv.adaptiveThreshold(self.blur, 255, cv.ADAPTIVE_THRESH_GAUSSIAN_C, cv.THRESH_BINARY_INV, 11, 2)

2. 过滤掉画面外框轮廓

在循环处理轮廓时，先判断当前轮廓是不是几乎占满整个画面的外框，如果是就直接跳过：
在detectCookie的轮廓循环前，先获取画面尺寸：

h, w = self.frame.shape[:2]  # 获取画面的高度和宽度

然后在轮廓循环里添加外框过滤逻辑：

for cnt in self.contours:
    area = cv.contourArea(cnt)
    perimeter = cv.arcLength(cnt, True)
    # 过滤掉接近画面尺寸的外框轮廓
    x, y, w_cnt, h_cnt = cv.boundingRect(cnt)
    if w_cnt > w * 0.9 and h_cnt > h * 0.9:
        continue  # 直接跳过外框
    if (perimeter != 0 and area != 0):
        formFactor = 4 * math.pi * area / perimeter**2
        # 调整判断条件：面积足够 + 形状符合目标物体（这里假设是圆形，可根据实际调整）
        if area > 100 and formFactor > 0.7:
            self.drawContours(cnt)

3. （可选）添加背景减除增强效果

如果你的背景有轻微光线波动或杂物，可以加入背景减除器，进一步分离前景物体：
在run方法里初始化背景减除器：

def run(self):
    self.cap = cv.VideoCapture(0)
    if not self.cap.isOpened():
        print("Cannot open camera")
        exit()
    # 初始化背景减除器，需要几帧学习背景
    self.bg_subtractor = cv.createBackgroundSubtractorMOG2(history=500, varThreshold=16, detectShadows=False)
    while True:
        # ... 原有代码 ...
        self.detectCookie()
        # ... 原有代码 ...

然后在detectCookie里先用背景减除处理：

def detectCookie(self):
    # 背景减除，分离前景物体
    fg_mask = self.bg_subtractor.apply(self.frame)
    # 灰度转换与模糊
    self.gray = cv.cvtColor(self.frame, cv.COLOR_BGR2GRAY)
    self.blur = cv.GaussianBlur(self.gray,(39, 39), 0)
    # 结合背景掩码增强前景区域
    combined = cv.bitwise_and(self.blur, self.blur, mask=fg_mask)
    # 自适应阈值处理
    self.thresh = cv.adaptiveThreshold(combined, 255, cv.ADAPTIVE_THRESH_GAUSSIAN_C, cv.THRESH_BINARY_INV, 11, 2)
    self.dilated = cv.dilate(self.thresh, (7, 7), iterations = 3)
    self.findContours()
    # ... 后面的轮廓过滤代码 ...

修改后的完整代码 #

import math
import numpy as np
import cv2 as cv
from threading import *

class robotVision(Thread):
    def run(self):
        self.cap = cv.VideoCapture(0)
        if not self.cap.isOpened():
            print("Cannot open camera")
            exit()
        # 初始化背景减除器（可选）
        self.bg_subtractor = cv.createBackgroundSubtractorMOG2(history=500, varThreshold=16, detectShadows=False)
        while True:
            self.ret, self.frame = self.cap.read()
            if not self.ret:
                print("Can't receive frame (stream end?). Exiting ...")
                break
            self.detectCookie()
            self.imshow()
            if cv.waitKey(1) == ord('q'):
                self.releaseStream()
                break

    def detectCookie(self):
        # 背景减除（可选）
        fg_mask = self.bg_subtractor.apply(self.frame)
        # 灰度转换与模糊
        self.gray = cv.cvtColor(self.frame, cv.COLOR_BGR2GRAY)
        self.blur = cv.GaussianBlur(self.gray,(39, 39), 0)
        # 结合背景掩码增强前景（可选）
        combined = cv.bitwise_and(self.blur, self.blur, mask=fg_mask)
        # 自适应阈值替代固定阈值
        self.thresh = cv.adaptiveThreshold(combined, 255, cv.ADAPTIVE_THRESH_GAUSSIAN_C, cv.THRESH_BINARY_INV, 11, 2)
        self.dilated = cv.dilate(self.thresh, (7, 7), iterations = 3)
        self.findContours()
        
        h, w = self.frame.shape[:2]  # 获取画面尺寸
        for cnt in self.contours:
            area = cv.contourArea(cnt)
            perimeter = cv.arcLength(cnt, True)
            # 过滤掉画面外框轮廓
            x, y, w_cnt, h_cnt = cv.boundingRect(cnt)
            if w_cnt > w * 0.9 and h_cnt > h * 0.9:
                continue
            if (perimeter != 0 and area != 0):
                formFactor = 4 * math.pi * area / perimeter**2
                # 调整条件：面积足够 + 形状接近圆形（可根据你的物体调整formFactor阈值）
                if area > 100 and formFactor > 0.7:
                    self.drawContours(cnt)

    def releaseStream(self):
        self.cap.release()
        cv.destroyAllWindows()

    def imshow(self):
        cv.imshow("Gray capture (First cycle)", self.gray)
        cv.imshow("Blur capture (Second cycle)", self.blur)
        cv.imshow("Thresh capture (Third cycle)", self.thresh)
        cv.imshow("Dilated capture (Fourth cycle)", self.dilated)
        cv.imshow("Video capture (Final result)", self.frame)

    def findContours(self):
        self.contours, self.hierarchy = cv.findContours(self.dilated, cv.RETR_EXTERNAL, cv.CHAIN_APPROX_NONE)

    def drawContours(self, target = "default"):
        if (target == "default"):
            cv.drawContours(self.frame, self.contours, -1, (0,255,0), 3)
        elif (isinstance(target, list)):
            cv.drawContours(self.frame, target, -1, (0,255,0), 3)
        else:
            cv.drawContours(self.frame, [target], -1, (0,255,0), 3)

注意事项 #

• 如果你检测的不是圆形物体，需要调整formFactor的阈值（比如方形物体的形状因子接近0.785，不规则物体阈值更低）。
• 自适应阈值的参数（11和2）可以根据实际光线调整：11是块大小（必须是奇数），2是减去的常数。
• 背景减除器需要几帧学习背景，启动后等2-3秒再测试效果。

内容的提问来源于stack exchange，提问作者I try so hard but I cry harder