如何在OpenCV Python项目中实现全GPU加速？

首先明确一个认知误区：单纯让程序占满全部GPU显存无法直接提升推理速度，显存仅负责存储模型、输入输出张量和中间计算结果，推理速度核心取决于CUDA核心利用率、数据传输延迟、处理流程串行阻塞程度这几个维度。你可以按以下步骤逐层优化：

1. 调整OpenCV DNN CUDA显存分配策略 #

OpenCV的DNN模块默认会预留较小的CUDA工作区，限制了多batch和大张量计算的效率，你可以在导入cv2前通过环境变量手动调整最大工作区上限，让程序可以使用更多显存：

import os
# 示例为RTX3060 12G显存配置，可设置为你显卡总显存的85%-90%，预留1-2G给驱动和系统使用
os.environ["OPENCV_DNN_CUDA_MAX_WORKSPACE_SIZE"] = str(10 * 1024 * 1024 * 1024) # 单位为字节，此处设为10G
import cv2

2. 调整推理参数提升CUDA核心利用率 #

• 开启FP16半精度推理：RTX30系安培架构显卡对FP16计算的原生支持可以让推理速度提升1倍左右，仅需修改一行目标配置即可：

  net = cv2.dnn.readNetFromDarknet("./yolov4.cfg", "./yolov4_last.weights")
  net.setPreferableBackend(cv2.dnn.DNN_BACKEND_CUDA)
  # 替换原有FP32目标为FP16
  net.setPreferableTarget(cv2.dnn.DNN_TARGET_CUDA_FP16)
  

• 降低模型输入分辨率：YOLO系列模型的输入分辨率需为32的倍数，你可以把yolov4.cfg中的width/height从默认的608调整为416，精度损失极小的前提下速度可以提升40%以上。

3. 优化RTSP流处理全链路流程 #

大部分RTSP场景的速度瓶颈不在推理本身，而在流读取、预处理、后处理的串行阻塞：

• 替换默认的RTSP读取配置，开启FFmpeg低延迟模式：

  cap = cv2.VideoCapture("你的RTSP流地址", cv2.CAP_FFMPEG)
  # 关闭帧缓存，避免帧累积导致的延迟
  cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)
  

• 预处理操作全部通过cv2.dnn.blobFromImage实现，不要自行用CPU做缩放、归一化操作，减少CPU到GPU的数据拷贝开销。
• 拆分处理流程为独立线程：单独开线程负责RTSP帧读取、推理计算、后处理画图，三个模块通过队列传递数据，避免某一步阻塞整个链路。

4. 额外优化项 #

• 替换Darknet格式模型为ONNX格式：OpenCV对ONNX模型的CUDA适配效率更高，你可以将YOLOv4模型转换为ONNX格式后加载，速度可提升15%-20%。
• 核对编译环境版本：RTX30系显卡最低要求CUDA 11.x版本，如果你编译OpenCV时用的是CUDA 10.x版本，会强制走兼容模式，速度会下降50%以上。

内容的提问来源于stack exchange，提问作者Kawshik