cv2.VideoCapture连接UDP流耗时久且随机返回空帧求助

执行以下代码时，脚本至少卡顿一分钟才连接成功，且会随机出现完全崩溃的情况（此时cv2.VideoCapture()无任何返回）：

cap = cv2.VideoCapture('udp://127.0.0.1:1080',cv2.CAP_FFMPEG)

推流使用的FFmpeg命令如下：

ffmpeg.exe -y -f dshow -thread_queue_size 4096 -hwaccel cuda -hwaccel_output_format cuda -i video="OBS Virtual Camera" -f rawvideo -c:v mjpeg -qscale:v 0 -r 20 udp://127.0.0.1:1080

已尝试多种推流方式、不同颜色格式，问题仍存在。注：功能有时可用，但会随机完全失效数日，之后又突然恢复正常。

1. 修正FFmpeg推流命令的格式冲突 #

原命令中-f rawvideo（原始视频封装）与-c:v mjpeg（MJPEG编码）存在格式矛盾，会导致OpenCV解析流时异常。修正后的推流命令：

ffmpeg.exe -y -f dshow -thread_queue_size 4096 -hwaccel cuda -hwaccel_output_format cuda -i video="OBS Virtual Camera" -c:v mjpeg -qscale:v 0 -r 20 -f udp udp://127.0.0.1:1080?pkt_size=1316

• 移除-f rawvideo：MJPEG属于压缩编码，无需原始视频封装
• 添加-pkt_size=1316：设置UDP数据包大小为MTU兼容值，减少丢包和解析阻塞

2. 优化OpenCV VideoCapture初始化参数 #

通过FFmpeg专属参数减少初始化等待时间，添加超时机制避免无限卡顿：

cap = cv2.VideoCapture('udp://127.0.0.1:1080?fifo_size=1024&flush_packets=1', cv2.CAP_FFMPEG)
# 设置连接和读取超时（单位：毫秒）
cap.set(cv2.CAP_PROP_OPEN_TIMEOUT_MSEC, 5000)
cap.set(cv2.CAP_PROP_READ_TIMEOUT_MSEC, 5000)

• fifo_size=1024：减小FFmpeg的UDP接收缓存，避免等待过多数据才解析格式
• flush_packets=1：立即处理收到的数据包，无需等待缓存填满
• 超时参数：防止初始化时无限等待，超时后可触发重试

3. 添加连接重试逻辑 #

针对随机崩溃问题，通过重试机制提升脚本稳定性：

import cv2
import time

def init_video_capture():
    for attempt in range(5):
        cap = cv2.VideoCapture('udp://127.0.0.1:1080?fifo_size=1024&flush_packets=1', cv2.CAP_FFMPEG)
        cap.set(cv2.CAP_PROP_OPEN_TIMEOUT_MSEC, 5000)
        cap.set(cv2.CAP_PROP_READ_TIMEOUT_MSEC, 5000)
        if cap.isOpened():
            return cap
        time.sleep(1)
    return None

# 初始化捕获
cap = init_video_capture()
if not cap:
    print("Failed to connect to UDP stream after retries")
else:
    # 帧处理循环
    while cap.isOpened():
        ret, frame = cap.read()
        if not ret:
            break
        # 此处添加帧处理逻辑
    cap.release()

4. 排查CUDA硬件加速兼容性 #

随机失效可能与CUDA加速的稳定性相关，可临时禁用CUDA测试：

ffmpeg.exe -y -f dshow -thread_queue_size 4096 -i video="OBS Virtual Camera" -c:v mjpeg -qscale:v 0 -r 20 -f udp udp://127.0.0.1:1080?pkt_size=1316

若禁用后问题消失，需更新CUDA驱动或更换为FFmpeg的CPU编译版本，解决硬件加速兼容性问题。

额外排查点 #

• 确认OpenCV与FFmpeg版本匹配：使用编译时集成FFmpeg的OpenCV版本，避免版本冲突
• 检查防火墙设置：添加UDP端口1080的入站/出站规则，防止数据包被拦截
• 监控系统资源：随机崩溃可能与内存泄漏、CPU占用过高有关，可通过任务管理器排查

内容的提问来源于stack exchange，提问作者John Schmidt