YOLOv3视频目标检测代码优化与修复：速度慢、检测异常求解

我在自定义数据集上训练了YOLOv3模型，用ultralytics的detect.py测试时网络输出正常，视频检测也没问题。但自己写的基于OpenCV DNN的ONNX模型推理代码遇到两个问题：

1. 运行速度极慢，约5秒处理1帧；
2. 目标检测结果异常，怀疑是ONNX模型转换导致。
   考虑过用C++重写但看不懂仓库里的高效代码，求解决方案。

一、修复ONNX模型转换与推理问题 #

1. 确保ONNX模型转换正确 #

使用ultralytics官方工具导出ONNX，避免手动转换导致的格式适配错误：

from ultralytics import YOLO

# 加载训练好的YOLOv3权重
model = YOLO("your_trained_weights.pt")
# 导出为ONNX，指定输入尺寸与动态维度（可选）
model.export(format="onnx", dynamic=True, imgsz=(640, 640))

官方导出流程会自动处理YOLOv3的输出格式，避免后续解析出错。

2. 优化推理速度 #

• 启用硬件加速：利用OpenCV DNN的CUDA/OpenCL后端加速推理：

# 若有NVIDIA显卡，启用CUDA加速
net.setPreferableBackend(cv2.dnn.DNN_BACKEND_CUDA)
net.setPreferableTarget(cv2.dnn.DNN_TARGET_CUDA)

# 无CUDA时启用CPU多线程优化
# net.setPreferableBackend(cv2.dnn.DNN_BACKEND_OPENCV)
# net.setPreferableTarget(cv2.dnn.DNN_TARGET_CPU)
# cv2.setNumThreads(8)

• 清空帧间累积数据：原代码中boxes, confidences, class_ids定义在循环外，会持续累积所有帧的检测结果，导致NMS计算量越来越大。必须将这三个列表移到循环内部，每次帧处理前重置：

while True:
    success, img = capture.read()
    if not success:
        break  # 处理视频结束的边界情况
    img = cv2.resize(img, (640,480))
    # 每次循环重置检测数据容器
    boxes, confidences, class_ids = [], [], []
    # 后续推理与解析代码...

3. 修正YOLOv3输出解析逻辑 #

YOLOv3有三个不同尺度的输出层，原代码只取最后一层会漏掉小目标检测，需获取所有未连接的输出层：

# 获取所有输出层名称
ln = net.getUnconnectedOutLayersNames()
layer_outputs = net.forward(ln)

之后再遍历所有输出层的检测结果，确保完整解析不同尺度的目标框。

二、替代方案：直接用ultralytics PyTorch推理（更高效简洁） #

无需转换ONNX，直接使用ultralytics官方YOLO API，速度与精度和detect.py完全一致，代码更简洁：

import cv2
from ultralytics import YOLO

# 加载训练好的模型权重
model = YOLO("your_trained_weights.pt")
capture = cv2.VideoCapture("PATH")

CONFIDENCE = 0.5
font_scale = 3
thickness = 5
labels = ['hole']

while True:
    success, img = capture.read()
    if not success:
        break
    img = cv2.resize(img, (640, 480))
    # 执行推理，设置置信度阈值
    results = model(img, conf=CONFIDENCE)
    
    # 解析结果并绘制检测框
    for result in results:
        for box in result.boxes:
            x1, y1, x2, y2 = map(int, box.xyxy[0])
            conf = box.conf[0].item()
            class_id = int(box.cls[0])
            # 绘制目标框
            cv2.rectangle(img, (x1, y1), (x2, y2), (255,0,4), thickness=thickness)
            # 绘制类别与置信度文本
            text = f"{labels[class_id]}: {conf:.2f}"
            cv2.putText(img, text, (x1, y1 - 5), cv2.FONT_HERSHEY_SIMPLEX,
                        fontScale=font_scale, color=(0, 0, 0), thickness=thickness)
    
    cv2.imshow('Result', img)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

capture.release()
cv2.destroyAllWindows()

三、C++重写建议 #

如果一定要用C++实现，核心注意点：

1. 使用ultralytics官方工具导出ONNX模型；
2. 启用OpenCV DNN的CUDA加速；
3. 正确解析YOLOv3的三个输出层结果；
4. 每次帧处理前清空检测数据容器，避免累积。

内容的提问来源于stack exchange，提问作者Дмитрий Насонов