基于IPM鸟瞰图：从图像到z=0平面单应性提取相机外参

问题1：无相机内参矩阵时，可提取哪些相机外参？ #

• 仅能提取相机的偏航角（yaw，绕光轴的旋转），以及与缩放无关的相对姿态关系。
• 原理：单应性矩阵 $H = K[R_1\ R_2\ t]$（$R_1、R_2$ 是旋转矩阵 $R$ 的前两列，因世界平面 $z=0$），无内参 $K$ 时，$H$ 是内参与外参的耦合结果，无法分离出绝对的俯仰角（pitch）、滚转角（roll），也无法得到平移的绝对尺度——这些自由度会被内参的焦距、畸变等参数掩盖，仅能推导不依赖内参的偏航角，以及平面映射的相对姿态等价类。

问题2：已知去畸变后内参，如何鲁棒提取全部相机外参？ #

不同方法结果差异大的核心原因 #

• cv2.calibrateCamera：该函数针对多视图标定设计，强制用于单平面单视图场景时，即使固定内参，也会因单平面场景的平移尺度歧义+采样点噪声，导致外参（尤其是平移向量）过度拟合，结果波动极大。
• solvePnP：若输入点对由单应性映射生成，本质是同一约束下的推导，结果应与线性方法一致，但点对噪声或迭代初值不当会引发偏差。
• 你的原始线性方法：仅归一化了 $r_1$，未保证旋转矩阵列向量的正交性，导致旋转矩阵存在误差，进而影响平移与相机位置计算。

鲁棒提取步骤与修正代码 #

核心思路：通过SVD正交化修正旋转矩阵，消除单应性分解的尺度歧义

import numpy as np

# 输入：已知的内参矩阵intrinsic，单应性矩阵homography
inv_intrinsic = np.linalg.inv(intrinsic)
H_norm = inv_intrinsic @ homography  # 归一化单应性，消除内参影响

# 提取初始的旋转前两列与平移向量
r1_prime = H_norm[:, 0]
r2_prime = H_norm[:, 1]
t_prime = H_norm[:, 2]

# 对初始旋转列做SVD正交化，确保旋转矩阵的正交性
M = np.column_stack((r1_prime, r2_prime))
U, S, Vt = np.linalg.svd(M)
R_corrected = U @ Vt

# 修正旋转矩阵的行列式为1（避免镜像翻转）
if np.linalg.det(R_corrected) < 0:
    U[:, 2] *= -1
    R_corrected = U @ Vt

# 补全旋转矩阵第三列（正交性保证）
r3 = np.cross(R_corrected[:, 0], R_corrected[:, 1])
R = np.column_stack((R_corrected[:, 0], R_corrected[:, 1], r3))

# 计算尺度因子，消除单应性的尺度歧义
lambda_scale = (np.linalg.norm(R[:, 0]) + np.linalg.norm(R[:, 1])) / 2
t = t_prime / lambda_scale

# 计算相机在世界坐标系中的位置
camera_position = -R.T @ t

关于Polar函数的正确用法 #

Polar分解将矩阵分解为正交矩阵（旋转 $R$）和对称正定矩阵（缩放/剪切），对归一化后的 $H_{norm}$ 做Polar分解得到的 $R$ 是修正后的旋转矩阵，但平移向量需要用旋转矩阵的列向量尺度归一化，而非直接取 $T[:,2]$，正确步骤：

normalized_homography = inv_intrinsic @ homography
R, T = polar(normalized_homography)
# 提取平移部分并归一化
t_prime = T[:, 2]
lambda_scale = (np.linalg.norm(R[:,0]) + np.linalg.norm(R[:,1]))/2
t = t_prime / lambda_scale
camera_position = -R.T @ t

鲁棒性优化建议 #

• 弃用cv2.calibrateCamera处理单平面单视图场景，改用上述单应性分解方法。
• 若原始点对存在噪声，先通过RANSAC估计鲁棒的单应性矩阵，再进行外参分解。
• 验证结果：检查旋转矩阵的正交性（$R^T @ R$ 应接近单位矩阵），或反投影相机位置到图像平面，与鸟瞰图锥面延伸线做一致性验证。

内容的提问来源于stack exchange，提问作者DasDude