基于3D-2D点对的OpenCV相机校准结果异常求助

针对你用Unity生成3D点+2D屏幕坐标、通过OpenCV做相机校准结果波动大的问题，核心问题出在坐标系统匹配、数据格式、参数约束这几个方面，以下是具体修正步骤：

核心问题分析 #

1. 数据格式错误：cv2.calibrateCamera要求输入的3D/2D点集是列表形式（每个元素对应单帧视图的点数组），而非你之前用reshape生成的(1, N, 2/3)形状数组。
2. 坐标系不匹配：Unity世界坐标系的Z轴方向与OpenCV相机坐标系相反（Unity相机看向-z方向，OpenCV看向+z方向），直接用原始3D点会导致空间位置解读错误。
3. 初始内参与约束缺失：仅用initCameraMatrix2D生成的初始矩阵偏离目标值，且未对fx/fy做强制约束，导致结果波动。
4. Z值误解：OpenCV校准不需要所有点Z=0，3D点应覆盖不同深度以提升校准稳定性，平面点集仅适用于棋盘格场景。

修正后的代码实现 #

import numpy as np
import cv2

# 屏幕尺寸与目标参数
screen_size = (1920, 1080)
target_f = 935.0
cx = screen_size[0] / 2  # 屏幕中心X
cy = screen_size[1] / 2  # 屏幕中心Y

# 加载数据（假设每个文件是N行，每行2/3个数值）
cam_id = 1
points_2d = np.loadtxt(f'calib/Camera{cam_id}.txt').astype(np.float32)  # shape (N, 2)
points_3d = np.loadtxt(f'calib/Camera{cam_id}_3D.txt').astype(np.float32)  # shape (N, 3)

# 修正坐标系：Unity Z轴与OpenCV相机Z轴反向
points_3d[:, 2] = -points_3d[:, 2]

# 转换为calibrateCamera要求的格式：列表包裹单帧点集
object_points = [points_3d]
image_points = [points_2d]

# 设置初始内参（直接用目标fx/fy，提升校准稳定性）
initial_cam_matrix = np.array([
    [target_f, 0.0, cx],
    [0.0, target_f, cy],
    [0.0, 0.0, 1.0]
], dtype=np.float32)

# 校准标志：强制fx=fy，固定畸变参数（Unity默认无畸变），使用初始猜测
calib_flags = cv2.CALIB_USE_INTRINSIC_GUESS | \
              cv2.CALIB_FIX_ASPECT_RATIO | \
              cv2.CALIB_ZERO_TANGENT_DIST | \
              cv2.CALIB_FIX_K1 | cv2.CALIB_FIX_K2 | cv2.CALIB_FIX_K3

# 执行校准
retval, camera_matrix, dist_coeffs, rvecs, tvecs = cv2.calibrateCamera(
    object_points,
    image_points,
    screen_size,
    initial_cam_matrix,
    None,
    flags=calib_flags
)

# 输出结果
print("校准后内参矩阵：")
print(camera_matrix)
print("\n旋转向量：", rvecs[0])
print("平移向量：", tvecs[0])

额外注意事项 #

• 校准点质量：确保3D点覆盖相机视野的不同区域（上下左右+不同深度），至少15个点以上，避免集中在局部空间。
• Unity坐标验证：确认gameobject.transform.position返回的是世界坐标而非局部坐标，camera.worldToScreenPoint返回的坐标未超出屏幕范围。
• 畸变参数：如果Unity场景中添加了相机畸变效果，需移除CALIB_FIX_K*类的标志，让OpenCV自动拟合畸变系数。

内容的提问来源于stack exchange，提问作者TsingLoo