基于棋盘格图像求解相机世界坐标的代码问题排查

核心问题定位 #

你遇到的投影偏差问题，大概率是内参标定缺失、角点检测误差、位姿计算逻辑错误三者之一或共同导致的，下面逐一拆解并给出修正步骤：

1. 先解决最关键的问题：缺失相机内参标定 #

你如果直接用假设的内参（比如默认fx=fy=图像分辨率、cx/cy为图像中心），投影结果必然偏差极大。相机内参（焦距、主点、畸变系数）必须通过标定得到，这是位姿计算的基础：

• 用你已拍摄的棋盘格图像，运行以下标定流程：

  import cv2
  import numpy as np
  
  # 棋盘格参数：角点行列数（不是方格数！比如8x6方格对应7x5角点）
  pattern_size = (7, 5)
  square_size = 0.03  # 方格实际物理尺寸，单位米
  
  # 生成世界坐标系下的角点（棋盘格平面设为z=0）
  objp = np.zeros((pattern_size[0]*pattern_size[1], 3), np.float32)
  objp[:,:2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1,2)
  objp *= square_size
  
  obj_points = []  # 存储所有图像的世界角点
  img_points = []  # 存储所有图像的像素角点
  folder = "你的图像文件夹路径"
  image_names = ["img1.jpg", "img2.jpg", ...]
  
  criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
  
  for img_name in image_names:
      img = cv2.imread(f"{folder}/{img_name}")
      gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
      ret, corners = cv2.findChessboardCorners(gray, pattern_size, None)
      if ret:
          # 亚像素优化角点精度
          corners_subpix = cv2.cornerSubPix(gray, corners, (11,11), (-1,-1), criteria)
          obj_points.append(objp)
          img_points.append(corners_subpix)
  
  # 执行相机标定
  ret, K, dist, rvecs, tvecs = cv2.calibrateCamera(obj_points, img_points, gray.shape[::-1], None, None)
  print(f"标定重投影平均误差: {ret}")
  print(f"内参矩阵K:\n{K}")
  print(f"畸变系数dist:\n{dist}")
  

• 要求标定的平均重投影误差小于1像素，否则重新拍摄图像（确保棋盘格在画面中占比适中、角度多样）或优化角点检测。

2. 验证角点检测的准确性 #

角点检测错误会直接导致位姿计算失效，必须逐图验证：

• 在角点检测代码后添加绘制逻辑：

  img = cv2.drawChessboardCorners(img, pattern_size, corners_subpix, ret)
  cv2.imshow("角点检测结果", img)
  cv2.waitKey(0)
  

• 检查每张图像的角点是否完全贴合棋盘格交叉点，若存在漏检、错检，删除该图像或调整cv2.findChessboardCorners的参数（比如调整flags为cv2.CALIB_CB_ADAPTIVE_THRESH + cv2.CALIB_CB_FAST_CHECK）。

3. 修正相机位姿计算与投影验证逻辑 #

你之前的投影验证逻辑存在误区，正确的计算与验证方式如下：

相机世界坐标计算

OpenCV的solvePnP返回的rvec是世界系到相机系的旋转向量，tvec是世界系原点到相机系原点的平移向量。相机在世界系下的坐标需通过旋转矩阵转置计算：

# 求解单张图像的外参
ret, rvec, tvec = cv2.solvePnP(objp, corners_subpix, K, dist)
# 旋转向量转旋转矩阵
R, _ = cv2.Rodrigues(rvec)
# 相机在世界系的坐标
camera_pos = -np.dot(R.T, tvec)

正确的验证方式

相机光心在图像上的投影是内参中的主点(K[0,2], K[1,2])，而非直接投影相机世界坐标。更可靠的验证是角点重投影误差：

# 计算世界角点的重投影像素点
imgpts, _ = cv2.projectPoints(objp, rvec, tvec, K, dist)
# 计算单张图像的重投影误差
error = np.linalg.norm(corners_subpix - imgpts) / len(imgpts)
print(f"单张图像重投影误差: {error}")

若单张图像误差小于1像素，说明位姿计算结果可靠。

4. 确认棋盘格参数正确性 #

务必注意：pattern_size是角点的行列数，不是方格数。比如一张横向有8个方格的棋盘格，横向角点数量是7，对应的pattern_size应为(7,5)（假设纵向5个方格）。参数错误会直接导致角点检测失败或位姿计算错误。

内容的提问来源于stack exchange，提问作者Sheradil