为什么通过Python OpenCV处理输出的视频逐帧卡顿、速度极慢？

卡顿核心原因 #

• 单窗口逐次推理的效率极低：你当前detectionProcess函数中，每个滑动窗口生成后都单独调用model.predict且batch_size=1，深度学习框架的推理启动开销远大于单张小图的计算开销，单帧如果要跑上百次predict，自然会出现逐帧卡顿的情况。
• 滑动窗口没有裁剪无效区域：你已经提前生成了道路掩码img_out，但当前滑窗逻辑是遍历全图，大量天空、路边等非道路区域的无效窗口也会执行推理，额外增加了一倍以上的计算量。
• 后处理和参数冗余：post_process中使用了大核的多次腐蚀膨胀操作，同时滑动窗口步长、窗口尺寸如果和检测目标不匹配，也会产生大量冗余计算。

可直接落地的优化方案 #

1. 批量推理改造：不要每生成一个窗口就调用predict，先把所有符合尺寸要求的窗口张量存入列表，最后一次性转为batch张量调用一次predict，仅这一项优化就能让推理速度提升10~30倍。
   示例修改逻辑：

# detectionProcess函数内修改
window_list = []
coord_list = []
for resized in pyramid(frame, scale=scale, minSize=(winH, winW), nb_images=nb_images):
    scale = frame.shape[0]/resized.shape[0]
    for (x,y,window) in sliding_window(resized, stepSize=stepSize, windowSize=(winH, winW)):
        if window.shape[0] != winH or window.shape[1] != winW:
            continue
        # 可选：仅保留窗口中心在道路掩码内的窗口，提前过滤无效区域
        mask_y, mask_x = int(y + winH/2), int(x + winW/2)
        if resized_road_mask[mask_y, mask_x] == 0: # resized_road_mask是和resized尺寸对齐的道路掩码
            continue
        if depth==1:
            window=cv2.cvtColor(window, cv2.COLOR_BGR2GRAY)
            window=np.expand_dims(window,3)
        window_list.append(window)
        coord_list.append((x,y,scale))
# 一次性批量推理
window_batch = np.concatenate(window_list, axis=0)
preds = model.predict((window_batch.astype(np.float32))/255., batch_size=len(window_list))
# 遍历预测结果生成bbox
for pred, (x,y,scale) in zip(preds, coord_list):
    if pred < thres_score:
        bbox_list.append(((int(x*scale)), int(y*scale), int((x+winW)*scale), int((y+winH)*scale)))
        score.append(pred)
        correct+=1

2. 调整参数减少冗余计算：
   • 适当调大滑动窗口步长stepSize到40~50，减少窗口总数
   • 降低post_process中腐蚀、膨胀的迭代次数，比如改为腐蚀2次、膨胀3次，视觉效果差异极小但处理速度更快
   • 调整thres_score阈值，减少无效检测框的生成和绘制
3. 可选进阶优化：将Keras模型转为ONNX/TensorRT格式做量化推理，速度可再提升2~4倍；也可以将读帧、预处理、推理、显示模块拆分为多线程执行，避免IO阻塞。

内容的提问来源于stack exchange，提问作者user15565485