ESP32-Cam搭配OpenCV+YOLOv8推流延迟高，如何优化？

这种2秒延迟通常是ESP32-Cam的WebServer推流设置和Python端帧处理逻辑共同导致的，并非单纯硬件性能不足，通过两端优化可以大幅降低延迟。

一、ESP32-Cam端推流优化 #

• 降低摄像头分辨率与帧率：将默认的高分辨率（如UXGA 1600x1200）调整为QVGA(320x240)或VGA(640x480)，帧率设置为20-30fps，减少单帧数据量与传输压力。
• 关闭端侧帧缓存：修改ESP32的WebServer推流代码，移除帧缓存逻辑，让摄像头捕获一帧就立即发送，避免端侧缓存堆积导致的延迟。
• 使用MJPEG编码：确保推流采用MJPEG格式，该格式单帧独立编码，无需等待后续帧即可解码，适合低延迟场景。

二、Python端代码优化 #

1. 清空OpenCV缓存帧 #

cv2.VideoCapture默认会缓存多帧，导致读取的不是摄像头实时画面。优化后的代码如下：

import cv2
from ultralytics import YOLO

model = YOLO('yolov8n.pt')
cap = cv2.VideoCapture("http://ip")
# 设置缓存大小为1，减少缓存帧数量
cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)

while cap.isOpened():
    # 先抓取2帧丢弃，确保读取最新帧
    for _ in range(2):
        cap.grab()
    success, frame = cap.retrieve()

    if success:
        # 推理时设置置信度阈值，过滤低置信度结果
        results = model(frame, conf=0.5, iou=0.7)
        
        # 手动绘制检测框，替代默认plot()减少开销
        for box in results[0].boxes:
            x1, y1, x2, y2 = map(int, box.xyxy[0])
            conf = box.conf[0]
            cls_name = model.names[int(box.cls[0])]
            label = f"{cls_name} {conf:.2f}"
            cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)
            cv2.putText(frame, label, (x1, y1-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,255,0), 2)
        
        cv2.imshow("YOLOv8 Inference", frame)
        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
    else:
        break
    
cap.release()
cv2.destroyAllWindows()

2. 简化YOLOv8推理逻辑 #

• 使用最小模型：yolov8n.pt已经是YOLOv8系列最小模型，若仍有压力可尝试yolov8n-tiny.pt（需单独下载）。
• 减少推理输出：通过conf参数提高置信度阈值，过滤掉低置信度的检测结果，减少后续绘图计算量。

3. 优化显示逻辑 #

确保cv2.waitKey(1)的参数为1ms，避免因等待时间过长导致的显示延迟；日常场景下调整缓存和推理逻辑已足够满足需求。

总结 #

优先优化Python端的缓存清空逻辑，这是见效最快的调整；同时配合ESP32-Cam的推流参数修改，两者结合可将延迟降低至几百毫秒以内，基本满足实时性需求。

内容的提问来源于stack exchange，提问作者ryanhuang1124