单目相机实时生成OpenCV鸟瞰图时道路线不平行问题求助

看起来你遇到的核心问题是手动构造的投影矩阵没生成正确的正射鸟瞰效果，导致道路标线呈梯形、不平行。这是因为手动设置旋转角（比如phi=-80°）很难精准匹配相机相对于地面的真实姿态，最终的透视变换没对齐地面平面的平行关系。

下面给你两种可行的解决方案，优先推荐第一种，简单直接且适配实时处理场景：

方案1：基于地面4点标定的透视变换（最推荐） #

鸟瞰图的核心要求是让地面上的平行线在变换后依然平行，这可以通过标定地面上4个共面的矩形点轻松实现，具体步骤如下：

步骤1：标记地面参考点 #

1. 先保存一张去畸变后的原始图像（也就是你代码中dst = cv2.undistort(...)输出的图像）。
2. 在这张图里找4个属于地面的点——这四个点在真实世界中必须是矩形的四个角（比如道路左右车道线的前后端点：图像下方靠近车头的左右两点、图像中上方远处的左右两点）。

步骤2：计算透视变换矩阵 #

用OpenCV自带的cv2.getPerspectiveTransform()函数，根据你标记的原始点和目标鸟瞰图的矩形点，自动生成能保证平行线的变换矩阵。

步骤3：修改你的ROS回调代码 #

把手动构造的G矩阵替换成这个自动计算的矩阵，示例修改如下：

# 提前标定好的原始图像点（需根据你的实际图像调整坐标）
src_points = np.float32([[210, 950], [1070, 950], [160, 520], [1120, 520]])
# 鸟瞰图中的目标矩形点（设置成左右对称的矩形，确保标线平行）
dst_points = np.float32([[320, 964], [960, 964], [320, 0], [960, 0]])
# 相机固定的话，矩阵只需要计算一次，放在回调函数外面
M = cv2.getPerspectiveTransform(src_points, dst_points)

def image_callback(msg):
    global i
    print("Received an image!")
    try:
        cv2_img = bridge.imgmsg_to_cv2(msg, "bgr8")
        gray = cv2.cvtColor(cv2_img, cv2.COLOR_BGR2GRAY)
    except CvBridgeError, e:
        print(e)
    else:
        # 保留去畸变步骤
        dst = cv2.undistort(gray, mtx_vect, dist_vect, None, mtx_vect)
        # 使用新变换矩阵M，注意去掉WARP_INVERSE_MAP（M是原始到鸟瞰的正向变换）
        transformed = cv2.warpPerspective(dst, M, (1280, 964), cv2.INTER_LINEAR)
        
        # 优化图像保存逻辑
        img_path = f'./camera_image{i}.png'
        while os.path.isfile(img_path):
            i += 1
            img_path = f'./camera_image{i}.png'
        cv2.imwrite(img_path, transformed)
        print(f"image enregistrer num {i}")

小技巧：交互式选点 #

如果不确定原始点的坐标，可以用OpenCV的鼠标回调函数交互式标记：

selected_points = []
def mouse_callback(event, x, y, flags, param):
    if event == cv2.EVENT_LBUTTONDOWN:
        selected_points.append([x, y])
        cv2.circle(param, (x, y), 5, (0,255,0), -1)
        cv2.imshow('Select Points', param)

# 加载去畸变后的图像
undist_img = cv2.undistort(gray, mtx_vect, dist_vect, None, mtx_vect)
cv2.imshow('Select Points', undist_img)
cv2.setMouseCallback('Select Points', mouse_callback, undist_img)
cv2.waitKey(0)
cv2.destroyAllWindows()
# 打印选中的4个点，直接复制到src_points里即可
print("Selected points:", np.float32(selected_points))

方案2：基于相机外参的精确投影（适合有位姿数据的场景） #

如果你能通过ROS TF或SLAM获取相机相对于地面的精确位姿，可以重新推导正确的投影矩阵，生成正射鸟瞰图。但这种方法要求：

1. 相机内参（你已有的mtx_vect和dist_vect）完全准确
2. 相机相对于地面坐标系的旋转、平移参数无误差
3. 明确地面平面方程（通常设为Z=0）

你当前代码中手动设置的phi、theta等参数和实际相机姿态不匹配，才导致了投影变形。如果要用这种方法，需要用ROS的TF获取相机到地面坐标系的变换，基于真实位姿构造投影矩阵，而非手动赋值旋转角。不过这种方法复杂度高，位姿稍有误差就会导致标线不平行，所以优先推荐方案1。

内容的提问来源于stack exchange，提问作者AFETTOUCHE Massinissa