YOLOv8+OpenCV处理RTSP流时cap.read()几帧后无法读取

核心问题是RTSP流的实时处理速度跟不上流的推送速度：加入YOLO检测逻辑后，单帧处理耗时增加，导致OpenCV的VideoCapture缓冲区被填满，后续无法读取新帧；仅读取不处理时，缓冲区能及时清空，因此流可正常运行。此外代码中还有几处细节问题会加剧该情况。

1. 优化OpenCV RTSP读取参数 #

给VideoCapture添加RTSP专用配置，减少缓冲区堆积，强制使用更稳定的FFmpeg后端：

cap = cv2.VideoCapture(rtsp_url, cv2.CAP_FFMPEG)
# 设置缓冲区大小（单位：帧），减少帧堆积
cap.set(cv2.CAP_PROP_BUFFERSIZE, 2)
# 设置读取帧率与摄像头实际帧率匹配（根据设备调整，比如25）
cap.set(cv2.CAP_PROP_FPS, 25)
# 强制跳过旧帧，只读取最新帧
cap.set(cv2.CAP_PROP_POS_FRAMES, 0)

2. 修正帧处理逻辑，减少资源浪费 #

代码中存在处理原始帧但显示resize后帧的矛盾，既浪费资源又易导致逻辑混乱，统一处理resize后的帧：

import math  # 补充缺失的模块导入

while True:
    success, img = cap.read()
    if not success or img is None or img.size == 0:
        print("Error: Could not read frame.")
        # 尝试重新打开流，避免永久断流
        cap.release()
        cap = cv2.VideoCapture(rtsp_url, cv2.CAP_FFMPEG)
        cap.set(cv2.CAP_PROP_BUFFERSIZE, 2)
        continue
    resized_frame = cv2.resize(img, (800, 600))
    # 加入置信度阈值，过滤低置信度结果，减少处理量
    results = model(resized_frame, stream=True, conf=0.5)
    for r in results:
        boxes = r.boxes
        for box in boxes:
            x1, y1, x2, y2 = box.xyxy[0]
            x1, y1, x2, y2 = int(x1), int(y1), int(x2), int(y2)
            conf = math.ceil((box.conf[0] * 100)) / 100
            cls = int(box.cls[0])
            myColor = (255, 0, 0)

            # 改为在resized_frame上画框，与显示帧一致
            cvzone.putTextRect(resized_frame, f'{classNames[cls]} {conf}',
                               (max(0, x1), max(35, y1)), scale=1, thickness=1, colorB=myColor,
                               colorT=(255, 255, 255), colorR=myColor, offset=5)
            cv2.rectangle(resized_frame, (x1, y1), (x2, y2), myColor, 3)

    cv2.imshow("Image", resized_frame)
    # 按q键可退出循环，避免无限运行
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# 程序结束后释放资源
cap.release()
cv2.destroyAllWindows()

3. 降低检测耗时 #

• 替换轻量YOLO模型：用yolov8n.pt（nano版）代替yolov8l.pt（large版），检测速度提升数倍，多数场景下精度损失可接受。
• 调整输入尺寸：在model()调用中加入imgsz=480，缩小输入帧尺寸来提速。
• 过滤低置信度结果：通过conf=0.5过滤掉置信度低于50%的框，减少循环处理的数量。

RTSP流是实时推送型，若处理速度慢于流的帧率，OpenCV的缓冲区会不断累积未处理的帧；当缓冲区满后，新帧无法写入，就会出现Could not read frame错误。通过设置小缓冲区、强制实时读取、降低处理耗时，让每帧处理速度跟上流的推送速度，即可解决断流问题。

内容的提问来源于stack exchange，提问作者Anil Kumar Patra