Python OpenCV经RTSP接入海康IPC运行DNN程序数分钟后崩溃

• 传输协议问题：OpenCV拉RTSP默认用UDP传输，网络抖动时极易丢包。H264编码的P/B帧依赖前后参考帧，只要丢一个关键数据包，就会出现你看到的宏块（MB）解码报错，单帧坏帧如果没被正确跳过，会直接损坏FFmpeg内部的解码上下文，后续所有cap.read()调用都会永久返回False，不会自动恢复。本地视频文件不存在网络丢包问题，码流完整所以运行稳定。
• 代码逻辑缺陷：
  1. 旧版多线程写法完全错误，threading.Thread(PersonDetection_UsingMobileNetSSD())会在主线程同步执行完整个检测函数，再把返回值传入线程对象，多线程完全没生效，还容易触发资源竞争导致无报错崩溃。
  2. 推理速度和拉流速度不匹配：MobileNetSSD单帧推理耗时高于摄像头出帧间隔时，OpenCV内部的帧队列会持续堆积，时间长了会出现队列溢出、解码线程阻塞，直接断流。
  3. 没有断流恢复逻辑：遇到坏帧导致ret=False时仅打印日志，没有重建连接的处理，会一直持有失效的捕获对象死等。
• 解码配置问题：默认OpenCV的FFmpeg后端没有开启容错模式、缓冲大小设置不合理，遇到坏帧不会自动跳过，容易直接卡死解码管道。

按优先级逐步调整即可解决问题：

1. 优先修改拉流配置，改用TCP传输减少丢包
   打开视频流前先配置FFmpeg参数，从根源降低坏帧概率，示例代码：

import os
import cv2
import time
import threading
import numpy as np

# 配置FFmpeg拉流参数：用TCP传输、自动丢弃坏帧、低延迟模式、设置超时
os.environ["OPENCV_FFMPEG_CAPTURE_OPTIONS"] = "rtsp_transport;tcp|fflags;discardcorrupt|flags;low_delay|max_delay;500000|stimeout;2000000|analyzeduration;1000000|probesize;1000000"

# 初始化连接时指定FFmpeg后端，设置小容量缓冲避免帧堆积
def init_capture(rtsp_url):
    cap = cv2.VideoCapture(rtsp_url, cv2.CAP_FFMPEG)
    cap.set(cv2.CAP_PROP_BUFFERSIZE, 2)
    return cap

注意：那些H264宏块解码报错是FFmpeg直接打印的底层日志，Python的try/except无法捕获，只要配置了discardcorrupt参数，单条坏帧会被自动跳过，不会影响后续解码。

2. 拆分拉流和推理线程，解决速度不匹配问题
   单独开一个后台线程只负责拉流，始终只保留最新一帧，避免队列堆积，示例逻辑：

# 全局变量存最新帧和流状态
latest_frame = None
stream_running = True
capture_failed_count = 0
cap = None

def stream_worker(rtsp_url):
    global latest_frame, stream_running, capture_failed_count, cap
    cap = init_capture(rtsp_url)
    while stream_running:
        if not cap.isOpened():
            time.sleep(2)
            cap = init_capture(rtsp_url)
            continue
        ret, frame = cap.read()
        if not ret:
            capture_failed_count +=1
            # 连续5次读帧失败，重建连接
            if capture_failed_count >=5:
                cap.release()
                cap = init_capture(rtsp_url)
                capture_failed_count =0
            time.sleep(0.01)
            continue
        capture_failed_count =0
        # 直接覆盖旧帧，始终保留最新帧，不做队列堆积
        latest_frame = frame

主线程只需要读取latest_frame做推理和显示即可，不会因为推理耗时阻塞拉流。

3. 修正原有代码的低级问题

• 多线程启动必须传函数对象，不要加括号调用，正确写法：threading.Thread(target=stream_worker, args=(rtsp_url,), daemon=True).start()
• 不要在循环里每帧调用cap.get(cv2.CAP_PROP_FRAME_WIDTH/HEIGHT)，这两个参数在初始化连接成功后读取一次存为全局变量即可，减少不必要的IO开销。
• 海康摄像头侧可以把子码流（你当前用的channels/2就是子码流）的编码档位调成Baseline profile，码率设为1~2Mbps，进一步降低解码压力和丢包影响。

4. 增加坏帧跳过逻辑
   主线程取帧时如果latest_frame为None，直接跳过本轮推理，等下一帧即可，不要强行处理空帧触发崩溃。

内容的提问来源于stack exchange，提问作者renaldyks