OpenCV中VideoCapture帧与保存后PNG的黄色检测差异问题

问题描述 #

需要从USB摄像头图像中检测黄色物体，通过黄色掩码过滤目标并在轮廓周围绘制矩形。将摄像头获取的帧保存为PNG后再处理，效果良好；但直接处理VideoCapture获取的实时帧时，会出现大量小轮廓，检测效果不佳。

核心原因与解决方法 #

1. 颜色空间转换错误 #

OpenCV读取的图像（无论是imread加载的PNG还是VideoCapture获取的摄像头帧）默认都是BGR格式，但原代码中使用了COLOR_RGB2HSV进行转换，这会导致颜色空间映射错误，掩码无法准确识别黄色，进而产生大量杂点轮廓。保存PNG后可能在某些环节自动转换为RGB，所以处理静态PNG时碰巧生效。

修正：
将颜色转换代码改为：

hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)

2. 实时帧存在传感器噪声 #

摄像头实时帧会携带传感器噪声、环境光线干扰，而保存的PNG是静态图像，噪声已被抑制。这些噪声会在掩码中形成大量微小高亮区域，最终被识别为小轮廓。

解决方法：
在颜色空间转换前添加滤波操作，抑制噪声：

# 高斯模糊，平滑图像减少噪声
blurred = cv2.GaussianBlur(frame, (5,5), 0)
# 或使用中值滤波，更适合去除椒盐噪声
# blurred = cv2.medianBlur(frame, 5)
hsv = cv2.cvtColor(blurred, cv2.COLOR_BGR2HSV)

3. HSV黄色阈值不匹配实时场景 #

静态PNG的拍摄光线与实时摄像头的环境光线可能存在差异，原HSV阈值无法适配实时场景，导致大量误检测的小区域。

解决方法：

• 调整HSV阈值至更精准的黄色范围（可根据实际场景微调）：

  lower_yellow = np.array([20, 100, 100], dtype="uint8")
  upper_yellow = np.array([30, 255, 255], dtype="uint8")
  

• 对掩码进行形态学闭操作（先膨胀后腐蚀），消除小杂点：

  kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3,3))
  mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)
  

4. 未添加轮廓大小过滤 #

原代码未对轮廓面积进行过滤，所有微小轮廓都会被绘制。静态PNG噪声少，小轮廓数量少；实时帧噪声多，小轮廓大量出现。

解决方法：
添加轮廓面积阈值过滤，仅处理符合大小的轮廓：

min_contour_area = 50  # 根据实际物体大小调整
for c in contours:
    if cv2.contourArea(c) < min_contour_area:
        continue  # 跳过小轮廓
    # 后续绘制矩形、质心的代码

修正后的完整实时处理代码 #

import cv2
import numpy as np

cap = cv2.VideoCapture(1, cv2.CAP_DSHOW)
min_contour_area = 50  # 最小轮廓面积阈值
# 适配实时场景的黄色HSV范围
lower_yellow = np.array([20, 100, 100], dtype="uint8")
upper_yellow = np.array([30, 255, 255], dtype="uint8")
# 形态学操作结构元素
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3,3))

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break
    
    # 预处理：滤波降噪
    blurred = cv2.GaussianBlur(frame, (5,5), 0)
    # 转换为HSV颜色空间
    hsv = cv2.cvtColor(blurred, cv2.COLOR_BGR2HSV)
    # 生成黄色掩码
    mask = cv2.inRange(hsv, lower_yellow, upper_yellow)
    # 形态学闭操作消除小杂点
    mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)
    
    # 查找外部轮廓
    contours, hierarchy = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    
    QttyOfContours = 0
    for c in contours:
        # 过滤小轮廓
        if cv2.contourArea(c) < min_contour_area:
            continue
        QttyOfContours += 1
        
        # 绘制 bounding rectangle
        x, y, w, h = cv2.boundingRect(c)
        cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
        
        # 计算并绘制质心
        CoordXCentroid = (x + x + w) // 2
        CoordYCentroid = (y + y + h) // 2
        cv2.circle(frame, (CoordXCentroid, CoordYCentroid), 3, (0, 0, 0), -1)
    
    cv2.imshow('Yellow Object Detection', frame)
    # 按Q键退出
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

内容的提问来源于stack exchange，提问作者Sk D