YOLOv4模型RTSP流路障/警戒带检测效果不佳问题咨询
2026-8-27
问题排查&优化建议
首先明确落地优先级：你当前存量测试视频检测效果达标、接入全变焦摄像头RTSP流后漏检率高，第一优先级不要直接重训模型或者换模型，先排查RTSP流的帧质量问题：
- 先确认拉流是不是默认取了子码流，子码流通常分辨率被压缩到720P以下、码率不足，远距离小目标特征直接被压缩丢失
- 抽100张以上RTSP流的实时帧，和存量测试视频的帧做对比：检查变焦后是否存在对焦糊片、H264/H265硬解码时色彩空间转换错误（比如YUV转RGB偏色，黄黑警戒带的核心颜色特征丢失）、夜间/逆光帧曝光异常的问题
- 确认实时流里目标的尺度分布：全变焦摄像头拉到最远焦段时，警戒带、路障的像素尺寸是不是比你存量测试集里的最小目标小一半以上，尺度不匹配是小目标漏检的核心原因
方向1：现有PyTorch版YOLOv4的训练、推理调优方案
训练阶段调整项
- 数据集补全：把前面抽的RTSP漏检帧（尤其是远距离小目标、警戒带缺失场景、光线差/糊片的帧）全部标注后加入训练集，要求实时流场景的帧占训练集总比例不低于40%；警戒带/路障缺失属于负样本判定类需求，要把无目标的空场景负样本占比提到15%~20%，不然模型学不会“缺失”的判定逻辑
- 锚框重聚类：不要用COCO数据集预训练的默认锚框，拿你自己标注的全部目标框跑k-means重聚类，保证最小尺寸的锚框能覆盖你实时流里最远焦段的最小目标像素尺寸（比如最远时警戒带只有88像素，默认最小锚框是1212的话根本匹配不到目标）
- 训练参数调整：
- 训练输入分辨率不要用默认416416，拉到608608，显存足够可以开到960*960，和推理分辨率保持严格对齐
- 开启Mosaic数据增强，额外增加随机亮度、对比度、高斯模糊增强项，匹配实时流里逆光、轻微失焦、光线波动的场景
- 给最细粒度的小目标检测层损失权重提1.5~2倍，避免大目标的梯度主导训练，导致小目标检测能力差
- 骨干网络冻结训练的轮次控制在5轮以内，全量微调阶段学习率设为1e-5，不要用过大学习率冲掉预训练的通用特征
推理阶段调整项
- 不要用默认0.5的置信度阈值，针对警戒带、路障两个类别单独把阈值降到0.250.3，NMS的IoU阈值提到0.50.6，避免相邻的警戒带片段被重复框过滤逻辑删掉
- 不要为了提速把推理输入分辨率压到训练分辨率以下，比如训练用608、推理用320的话，小目标漏检率会陡增
- 增加帧间滑窗判定逻辑：不要单帧就报警戒带/路障缺失，连续3帧及以上在对应管控区域没检测到目标再触发告警，过滤单帧糊片、临时遮挡导致的误漏报
- 优先用NVDEC硬解码RTSP流，校准YUV转RGB的色彩转换矩阵，避免色彩失真丢失关键特征
方向2：模型替换选型建议
首先明确排除项：不要选EfficientNet做这个需求，EfficientNet是分类网络骨干，直接用来做目标检测的精度、速度都不如专门优化过的YOLO系列检测模型，完全适配不了实时检测的要求。
剩下的可选模型参考：
- 优先选YOLOv5 7.0版本的n/s/m档：比原版YOLOv4的小目标检测精度高15%~20%，训练、部署的工具链非常成熟，对接RTSP流、导出ONNX/TensorRT加速的坑极少，同显存下跑608分辨率的FPS比YOLOv4高30%以上，完全满足实时性要求；如果远距离小目标占比极高，可以选带P6检测头的大分辨率版本，小目标检测能力会进一步提升
- 不推荐选YOLOv6：YOLOv6偏向极致速度优化的工业流水线场景，同参数量下小目标检测精度不如YOLOv5，自定义数据集训练的踩坑点多、社区资料少，对你这个场景来说投入产出比很低
- 如果后续优化到最后，极远距离（目标尺寸小于8*8像素）的漏检还是解决不了，可以再加切片辅助推理的逻辑，不需要盲目换更新的模型
最后给个落地优先级：先排查RTSP流质量问题→补实时流场景的标注数据调优现有YOLOv4→如果调优后精度还达不到业务要求，再切换到YOLOv5，不要一上来就换模型做无用功。
内容的提问来源于stack exchange，提问作者Prana
相关产品推荐
相关产品推荐
