基于单应变换图像的相机矩阵校准：不同位置正方形结果不一致问题

我来帮你一步步梳理这个相机校准的问题，搞清楚为啥不同位置的正方形会得到不一样的相机矩阵，然后给你可行的修正方案。

核心问题根源 #

你现在的校准方式存在一个关键的约束缺失：所有用于校准的点都来自同一个平面的投影。你用单应H把I1中的正方形变换到I2，本质上这些正方形对应的是3D空间中同一个平面（I1所在的Z=0平面）上的不同区域。而相机校准的数学原理告诉我们：仅用同一个平面的投影点，无法唯一确定相机内参——因为内参和外参（旋转、平移）之间存在歧义，算法可以通过调整外参来“适配”不同位置的平面区域，最终得到不同的内参解。

除此之外，还有两个可能的次要原因：

• I1本身可能存在畸变：如果I1是未校正的畸变图像，那么你提取的正方形角点本身就不是理想的“真实世界点”，不同位置的畸变程度不同，会进一步放大校准结果的差异。
• 局部坐标定义问题：如果你给每个正方形都定义独立的局部世界坐标（比如每个正方形都从(0,0,0)开始），相当于告诉算法这些正方形在3D空间中是同一个位置，这会让算法的约束更加混乱，加剧解的不唯一性。

修正方案 #

针对这些问题，我们可以从三个方面入手解决：

1. 引入多姿态的3D平面约束 #

相机校准需要至少3个不同姿态的平面（或者非共面的3D点）来消除内参和外参的歧义。你可以模拟不同姿态的平面：

• 比如给I1中的正方形设置不同的Z轴高度（比如第一个正方形Z=0，第二个Z=w，第三个Z=2w，w为正方形边长）；
• 或者给正方形添加旋转角度（比如绕X轴旋转15°、30°）；
• 然后用单应H变换得到对应I2中的图像点，这样校准算法就有足够的约束来求解唯一的内参。

2. 使用全局统一的世界坐标系 #

不要给每个正方形单独定义局部坐标，而是把所有正方形放在同一个全局3D坐标系里。比如：

• 第一个正方形坐标：[(0,0,0), (w,0,0), (w,w,0), (0,w,0)]
• 第二个正方形坐标：[(2w,0,0), (3w,0,0), (3w,w,0), (2w,w,0)]
• 第三个正方形坐标：[(0,2w,0), (w,2w,0), (w,3w,0), (0,3w,0)]
  这样算法能识别出这些是3D空间中不同位置的平面，提供有效的约束。

3. 确保角点精度与I1的畸变校正 #

• 对I1先做畸变校正（如果I1本身是畸变图像），再提取正方形角点，保证作为“真实世界点”的坐标准确性；
• 使用亚像素级角点提取（比如cv2.cornerSubPix），减少I1和I2中角点的定位误差，避免误差导致的校准结果波动。

代码示例 #

这里给你一个完整的校准代码框架，包含上述修正点：

import cv2
import numpy as np

# 1. 定义参数
square_size = 100.0  # 正方形的真实世界边长，单位可自行设定（如毫米）
img_h, img_w = I2.shape[:2]  # I2的图像尺寸

# 2. 准备全局世界坐标点（3个不同位置的平面区域）
world_points = []
# 第一个正方形（Z=0平面）
wp1 = np.array([
    [0, 0, 0], [square_size, 0, 0],
    [square_size, square_size, 0], [0, square_size, 0]
], dtype=np.float32)
# 第二个正方形（Z=0平面，X轴偏移2倍边长）
wp2 = np.array([
    [2*square_size, 0, 0], [3*square_size, 0, 0],
    [3*square_size, square_size, 0], [2*square_size, square_size, 0]
], dtype=np.float32)
# 第三个正方形（Z=0平面，Y轴偏移2倍边长）
wp3 = np.array([
    [0, 2*square_size, 0], [square_size, 2*square_size, 0],
    [square_size, 3*square_size, 0], [0, 3*square_size, 0]
], dtype=np.float32)
world_points.extend([wp1, wp2, wp3])

# 3. 提取I1中的对应角点并通过H变换得到I2中的点
# 假设你已经提取了I1中三个正方形的角点：ip1, ip2, ip3（每个是4x2的float32数组）
image_points = []
H = np.array([[...]])  # 你的单应矩阵
for ip in [ip1, ip2, ip3]:
    # 转换为齐次坐标并应用单应变换
    ip_hom = np.hstack((ip, np.ones((4, 1), dtype=np.float32)))
    ip2_hom = H @ ip_hom.T
    # 转换回非齐次坐标
    ip2 = (ip2_hom[:2] / ip2_hom[2]).T
    image_points.append(ip2)

# 4. 设置校准参数与初始值
flags = cv2.CALIB_FIX_ASPECT_RATIO | cv2.CALIB_FIX_K1 | cv2.CALIB_FIX_K2 | cv2.CALIB_FIX_K3 | cv2.CALIB_FIX_K4 | cv2.CALIB_FIX_K5
# 给相机矩阵一个合理的初始值（焦距设为图像宽度的1.5倍，光心在图像中心）
mtx_init = np.array([
    [1.5 * img_w, 0, img_w / 2],
    [0, 1.5 * img_w, img_h / 2],
    [0, 0, 1]
], dtype=np.float32)
dist_init = np.zeros((5, 1))  # 因为固定了畸变参数

# 5. 执行校准
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(
    world_points, image_points, (img_w, img_h),
    mtx_init, dist_init, flags=flags
)

print("校准得到的相机矩阵：")
print(mtx)

额外注意事项 #

• 初始相机矩阵的设置很重要：一个合理的初始值能帮助算法避免收敛到局部最优解，减少结果波动；
• 增加校准点数量：如果条件允许，尽量用更多不同位置/姿态的正方形，进一步提高校准结果的稳定性和准确性。

内容的提问来源于stack exchange，提问作者RaviTej310