如何解决倾斜角度摄像头下停车场车辆越线检测误判问题？

针对你遇到的倾斜摄像头场景下，车辆未越线但轴对齐bbox与车位框误判相交的问题，结合你的技术栈，提供以下可行方案：

1. 透视变换校正至俯视视角 #

倾斜摄像头的透视变形是核心问题——实际车位是平面，但2D帧中呈现梯形，轴对齐bbox无法准确对应车辆在车位平面的真实位置。通过透视变换将帧转换为正俯视视角后，再进行交集判断：

• 步骤：
  1. 在倾斜摄像头的帧中标记4个车位的实际角点，对应俯视视角下的矩形角点（比如(0,0), (w,0), (w,h), (0,h)，w/h为车位实际宽高对应的像素值）。
  2. 用OpenCV计算透视变换矩阵：

     import cv2
     import numpy as np
     
     # 倾斜帧中的车位角点（示例）
     src_points = np.float32([[100, 200], [300, 180], [310, 400], [90, 420]])
     # 俯视视角对应的矩形角点
     dst_points = np.float32([[0, 0], [200, 0], [200, 300], [0, 300]])
     # 计算透视矩阵
     H, _ = cv2.findHomography(src_points, dst_points)
     

  3. 将YOLO检测到的车辆bbox的四个顶点，通过透视矩阵映射到俯视空间：

     def transform_bbox(bbox, H):
         x1, y1, x2, y2 = bbox
         # bbox四个顶点
         points = np.float32([[x1,y1], [x2,y1], [x2,y2], [x1,y2]]).reshape(-1,1,2)
         # 透视变换
         transformed = cv2.perspectiveTransform(points, H)
         return transformed.reshape(-1,2)
     

  4. 在俯视空间中，用Shapely比较转换后的车辆多边形与预定义的俯视车位矩形的交集，即可避免透视变形导致的误判。

2. 用实例分割掩码替代轴对齐bbox #

摄像头2使用的yolov7-mask.pt支持实例分割，可以提取车辆的精确轮廓，比轴对齐bbox更贴合车辆实际形状：

• 步骤：
  1. 从YOLO的输出中获取车辆的掩码（mask），用OpenCV提取轮廓：

     import cv2
     from shapely.geometry import Polygon
     
     # 假设mask是YOLO输出的二进制掩码（单通道，255为车辆区域）
     contours, _ = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
     # 转换为Shapely多边形
     vehicle_poly = Polygon(contours[0].reshape(-1,2))
     

  2. 从JSON中读取预定义的车位多边形（注意：倾斜场景下车位应为梯形多边形，而非轴对齐矩形）：

     import json
     
     with open('parking_spots.json', 'r') as f:
         spots = json.load(f)
     spot_poly = Polygon(spots['spot1']['corners'])  # corners为车位四个角点坐标列表
     

  3. 计算车辆多边形与车位多边形的交集面积，设置合理阈值过滤误判：

     intersection = vehicle_poly.intersection(spot_poly)
     # 只有当交集面积超过车辆面积的5%时，判定为越线（阈值可根据实际场景调整）
     if intersection.area / vehicle_poly.area > 0.05:
         print("车辆越线")
     

• 对于使用yolov7-tiny.pt的摄像头1，可考虑替换为支持关键点的YOLO模型，用车辆的关键点（比如四个轮胎位置）拟合多边形，或缩小bbox范围（比如取bbox的内部80%区域）来减少误触。

3. 优化车位框定义与交集阈值 #

如果暂时无法做透视变换或分割，可通过以下方式优化现有逻辑：

• 将预定义的车位框从轴对齐矩形改为实际场景下的梯形多边形（在倾斜帧中标记车位四个角点，存入JSON），避免用轴对齐矩形错误覆盖车位线区域。
• 调整交集判断的阈值：不是只要有交集就判定越线，而是要求交集面积达到车辆bbox面积的一定比例（比如3%-5%），过滤掉bbox边缘轻微触碰车位线的情况：

  from shapely.geometry import box
  
  vehicle_bbox = box(x1, y1, x2, y2)
  spot_poly = Polygon(spot_corners)
  intersection_area = vehicle_bbox.intersection(spot_poly).area
  vehicle_area = vehicle_bbox.area
  if intersection_area / vehicle_area > 0.03:
      print("车辆越线")
  

4. 基于车位线的距离判断 #

放弃交集判断，改为计算车辆轮廓到车位边界线的最短距离，只有当距离小于设定阈值（比如5-10像素）时才判定越线：

from shapely.geometry import LineString

# 提取车位的四条边界线
spot_lines = [
    LineString([spot_corners[0], spot_corners[1]]),
    LineString([spot_corners[1], spot_corners[2]]),
    LineString([spot_corners[2], spot_corners[3]]),
    LineString([spot_corners[3], spot_corners[0]])
]
# 计算车辆多边形到每条车位线的最短距离
min_distance = min(vehicle_poly.distance(line) for line in spot_lines)
# 距离小于5像素时判定越线
if min_distance < 5:
    print("车辆越线")

内容的提问来源于stack exchange，提问作者Matt Dinh