如何基于OpenCV结合自定义数据集搭建高效实时摄像头目标检测项目？

推荐选用YOLOv8n（nano版）或YOLOv5s（small版），理由如下：

• Haarcascade属于传统特征检测算法，仅依赖手工设计的haar特征，对光照、姿态变化鲁棒性极差，精度低是必然结果；
• EfficientDet属于two-stage检测框架的优化版，虽然精度不错，但多层特征融合带来的计算量极大，难以满足摄像头实时检测的帧率要求；
• YOLO系列是one-stage端到端检测框架，YOLOv8n/YOLOv5s经过轻量化设计，在保证足够检测精度的同时，推理速度极快（CPU上可达20+FPS，GPU上能到100+FPS），完全适配摄像头实时检测场景。

1. 数据集准备 #

• 标注格式：采用YOLO专属的txt格式，每张图片对应一个同名txt文件，每行内容为 类别ID 归一化中心x坐标 归一化中心y坐标 归一化宽度 归一化高度（类别ID从0开始）；
• 数据集划分：将数据集按8:1:1的比例划分为训练集（train）、验证集（val）、测试集（test），三个文件夹下分别存放对应的图片和标注文件；
• 新建数据集配置yaml文件（比如custom_data.yaml），内容示例：

train: ./dataset/train/images
val: ./dataset/val/images
test: ./dataset/test/images

nc: 2  # 你的自定义类别数量
names: ["cat", "dog"]  # 你的自定义类别名称

2. 环境搭建 #

安装依赖库：

pip install ultralytics opencv-python torch torchvision

3. 模型训练 #

方式1：命令行训练 #

yolo task=detect mode=train model=yolov8n.pt data=custom_data.yaml epochs=50 batch=16 imgsz=640 device=0  # device=0表示用GPU，CPU则写device=cpu

方式2：Python代码训练 #

from ultralytics import YOLO

# 加载预训练模型
model = YOLO("yolov8n.pt")

# 启动训练
results = model.train(
    data="custom_data.yaml",
    epochs=50,
    batch=16,
    imgsz=640,
    device="0"
)

4. 模型验证 #

训练完成后，验证模型精度：

yolo task=detect mode=val model=runs/detect/train/weights/best.pt data=custom_data.yaml

或Python代码：

results = model.val(data="custom_data.yaml")

重点关注mAP@0.5指标，该值越高说明模型精度越好。

5. 实时检测部署 #

基于OpenCV的实时检测代码 #

import cv2
from ultralytics import YOLO

# 加载训练好的最优模型
model = YOLO("runs/detect/train/weights/best.pt")

# 初始化摄像头（0表示默认摄像头）
cap = cv2.VideoCapture(0)

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break

    # 运行检测
    results = model(frame, imgsz=640, conf=0.5)  # conf=0.5表示只保留置信度≥0.5的检测结果

    # 将检测结果绘制到帧上
    annotated_frame = results[0].plot()

    # 显示结果
    cv2.imshow("Real-Time Object Detection", annotated_frame)

    # 按下q键退出
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# 释放资源
cap.release()
cv2.destroyAllWindows()

• 如果CPU推理速度仍不够，可以降低imgsz（比如改为480），牺牲少量精度换取更高帧率；
• 确保安装的PyTorch是GPU版本，利用GPU加速可大幅提升推理速度；
• 训练时可以适当增加epochs（比如到100），或调整batch size（根据显存大小调整），提升模型收敛效果。

内容的提问来源于stack exchange，提问作者Rohith V P