实时检测车辆是否触碰地面白线的技术方案咨询

项目背景 #

通过RTSP协议从3种不同角度（含俯视图）的IP摄像头获取实时帧，核心需求是检测车辆是否触碰地面白线。

现有方案的问题 #

• OpenCV背景掩码法：早晚时段车辆长阴影被误判为前景跨越白线；尝试阴影消除算法但计算量过高，无法满足实时性要求
• ResNet18深度学习模型：出现严重过拟合，仅能识别训练集图像，实际部署后误判频发

可行优化方向 #

传统CV方案优化 #

• 基于颜色空间分离抑制阴影：将图像转HSV空间，利用阴影仅降低亮度（V通道）、色相/饱和度（H/S通道）与背景差异小的特性，提取车辆区域时过滤掉亮度低于阈值但H/S与背景匹配的区域，计算量远低于复杂阴影消除算法
• 结合几何约束简化检测：对非俯视图做透视变换，统一映射到鸟瞰视角，固定白线的几何形态；再用轮廓检测计算车辆轮廓与白线区域的IOU，判断是否触碰，减少阴影干扰
• 自适应背景建模：采用改进版MOG2背景模型，针对早晚光线变化调整学习速率，避免背景模型被阴影持续污染

深度学习方案优化 #

• 强化数据增强：给训练集加入随机亮度调整、模拟阴影、视角变换（旋转/透视）、噪声注入等操作；同时补充不同时段（早晚、阴天）、不同车辆类型的真实场景数据，提升模型泛化能力
• 模型正则化与轻量化：在ResNet18中加入Dropout层、L2正则化；或改用MobileNetV2、ShuffleNet等轻量化模型，配合知识蒸馏压缩，平衡精度与实时性
• 迁移学习适配场景：先在BDD100K等交通场景公开数据集上微调预训练模型，再迁移到自有数据集训练，减少过拟合
• 多帧投票后处理：利用车辆触线是连续状态的特性，对单帧检测结果做3-5帧投票过滤，降低部署后的误判率

混合方案（优先推荐） #

先用传统CV提取并归一化白线区域，再用轻量化深度学习模型仅检测车辆与该区域的重叠关系——既缩减模型输入维度，又借助传统CV的稳定性过滤阴影干扰，同时保证实时性

内容的提问来源于stack exchange，提问作者NINJA