相机标定后获取2D真实世界坐标的实现方案咨询

1. 该过程在计算机视觉中的名称 #

这个过程叫做像素坐标到世界坐标的单应性映射（或静态场景透视逆变换），属于静态固定视角下的平面透视转换场景。

2. 背后的数学理论 #

由于相机俯视固定且物体平面与成像平面平行，可简化为单应性变换（Homography），核心是透视投影的逆运算：

• 相机标定得到的内参矩阵 (K) 描述相机投影特性，畸变校正后的像素坐标已消除镜头畸变影响。
• 平行平面下，世界坐标到像素坐标的投影关系为：(s\mathbf{p} = K \mathbf{H} \mathbf{P})，其中 (s) 为缩放因子，(\mathbf{p}) 是齐次像素坐标，(\mathbf{P}) 是齐次世界坐标，(\mathbf{H}) 是3×3的单应性矩阵。
• 相机和物体固定时，(\mathbf{H}) 为固定矩阵，可通过已知的多组世界坐标-像素坐标对（比如棋盘格角点）求解得到。
• 得到(\mathbf{H})后，通过逆变换即可从像素坐标推导对应世界坐标。

极端简化场景下（完全平行无旋转），单应性矩阵退化为线性缩放+平移：只需计算像素与真实世界的缩放比例（x/y方向的像素/mm比值），以物体某角点为世界原点，通过像素偏移量乘以比例直接得到真实坐标。

3. 实现步骤与代码示例 #

实现步骤 #

1. 准备对应点数据：利用已有的棋盘格标定数据，选取至少4组世界坐标-畸变校正后像素坐标对（比如棋盘格四个角点，世界坐标可设左下角为(0,0)mm，右上角为(150,150)mm）。
2. 求解单应性矩阵：用OpenCV的cv.findHomography()函数计算单应性矩阵(\mathbf{H})。
3. 绑定鼠标点击事件：在直播GUI窗口中监听鼠标点击，获取像素坐标后通过(\mathbf{H})的逆矩阵计算对应世界坐标。
4. 实时输出结果：将计算得到的真实坐标显示在画面或控制台。

代码示例（Python + OpenCV） #

import cv2
import numpy as np

# 加载已保存的相机内参和畸变系数
camera_matrix = np.load('camera_matrix.npy')
dist_coeffs = np.load('dist_coeffs.npy')

# 定义棋盘格四个角点的世界坐标（单位：mm）
world_points = np.array([
    [0, 0],
    [150, 0],
    [150, 150],
    [0, 150]
], dtype=np.float32)

# 替换为你实际校正后图像中对应角点的像素坐标
image_points = np.array([
    [98, 102],
    [503, 99],
    [501, 502],
    [101, 505]
], dtype=np.float32)

# 求解单应性矩阵H
H, _ = cv2.findHomography(image_points, world_points)

# 鼠标点击回调函数
def mouse_click(event, x, y, flags, param):
    if event == cv2.EVENT_LBUTTONDOWN:
        # 像素坐标转齐次形式
        pixel_hom = np.array([x, y, 1], dtype=np.float32).reshape(3, 1)
        # 通过H的逆矩阵计算世界坐标
        world_hom = np.dot(np.linalg.inv(H), pixel_hom)
        # 转换为非齐次坐标（除以缩放因子）
        world_x = world_hom[0][0] / world_hom[2][0]
        world_y = world_hom[1][0] / world_hom[2][0]
        # 输出并标注结果
        print(f"真实世界坐标: ({world_x:.2f} mm, {world_y:.2f} mm)")
        cv2.putText(frame, f"({world_x:.1f}, {world_y:.1f})", 
                    (x+10, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,255,0), 2)
        cv2.imshow("Live Feed", frame)

# 实时视频采集与处理
cap = cv2.VideoCapture(0)
cv2.namedWindow("Live Feed")
cv2.setMouseCallback("Live Feed", mouse_click)

while True:
    ret, frame = cap.read()
    if not ret:
        break
    # 畸变校正
    h, w = frame.shape[:2]
    new_cam_mat, roi = cv2.getOptimalNewCameraMatrix(camera_matrix, dist_coeffs, (w,h), 1, (w,h))
    undistorted_frame = cv2.undistort(frame, camera_matrix, dist_coeffs, None, new_cam_mat)
    # 裁剪校正后的图像（可选）
    x, y, w_roi, h_roi = roi
    frame = undistorted_frame[y:y+h_roi, x:x+w_roi]
    cv2.imshow("Live Feed", frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

注意事项 #

• 必须替换image_points为你实际场景中校正后图像的对应像素坐标，确保与世界坐标一一对应。
• 若场景完全平行，可直接计算缩放比例：比如x方向缩放比为150/(image_points[1][0]-image_points[0][0]) mm/像素，y方向同理，以左下角像素为基准计算偏移量，这种方式更高效。

4. 简化solvePnP的原因 #

相机和物体固定时，solvePnP需要求解的外参（旋转R、平移T）是固定值，而单应性矩阵已整合了内参+外参的投影信息，直接使用单应性变换无需重复求解外参，计算更高效且逻辑更简单。

内容的提问来源于stack exchange，提问作者Luka