OpenCV中投影矩阵获取及多组旋转平移向量处理技术问询

嘿，咱们来一步步解决你关于OpenCV相机校准的这两个问题：

投影矩阵（Projection Matrix）的本质是相机内参矩阵、旋转矩阵和平移向量的组合，公式为：P = K * [R | t]，其中：

• K 是3×3的相机内参矩阵（校准输出的相机矩阵）
• R 是3×3的旋转矩阵（由校准输出的旋转向量转换而来）
• [R | t] 是3×4的外参矩阵，t 是3×1的平移向量

在OpenCV中，你可以按照以下步骤计算：

1. 用cv2.Rodrigues()把旋转向量转换成旋转矩阵
2. 将旋转矩阵和平移向量拼接成外参矩阵
3. 用相机内参矩阵乘以外参矩阵得到投影矩阵

示例代码（Python）：

import cv2
import numpy as np

# 假设你已经通过相机校准得到了这些参数
K = np.array([[fx, 0, cx], [0, fy, cy], [0, 0, 1]], dtype=np.float32)  # 相机矩阵
rvec = np.array([rx, ry, rz], dtype=np.float32)  # 校准输出的旋转向量
tvec = np.array([tx, ty, tz], dtype=np.float32)  # 校准输出的平移向量

# 旋转向量转旋转矩阵
R, _ = cv2.Rodrigues(rvec)

# 构造3×4的外参矩阵 [R | t]
extrinsic_matrix = np.hstack((R, tvec.reshape(3, 1)))

# 计算投影矩阵
projection_matrix = K @ extrinsic_matrix

最终得到的projection_matrix是3×4的矩阵，可直接用于将3D世界坐标转换为2D图像坐标。

直接对旋转向量取平均值是绝对不可行的！这是因为旋转向量属于特殊正交群SO(3)空间，不是普通的欧几里得空间，算术平均会破坏旋转矩阵的正交性（行列式必须为1），得到的结果是无效的旋转姿态。不过平移向量的处理可以更简单：

平移向量的处理 #

平移向量是欧几里得空间的向量，直接对多组tvec取算术平均是完全有效的，结果可以代表平均平移姿态。

旋转向量的正确平均方法 #

必须先把每个旋转向量转换成旋转矩阵，计算均值旋转矩阵，再转回旋转向量。具体步骤如下：

1. 将所有校准得到的旋转向量通过cv2.Rodrigues()转为旋转矩阵R_i
2. 计算这些旋转矩阵的元素-wise平均矩阵M
3. 对M做SVD分解，通过分解结果修正得到符合SO(3)约束的均值旋转矩阵
4. 把均值旋转矩阵转回旋转向量

示例代码（Python）：

import cv2
import numpy as np

# 假设你有N组校准得到的旋转向量，先转成旋转矩阵列表
rotation_vectors = [rvec1, rvec2, ..., rvecN]
rotation_matrices = []
for rvec in rotation_vectors:
    R, _ = cv2.Rodrigues(rvec)
    rotation_matrices.append(R)

# 计算旋转矩阵的元素-wise平均
M = np.mean(rotation_matrices, axis=0)

# SVD分解修正得到均值旋转矩阵
U, S, Vt = np.linalg.svd(M)
R_avg = U @ Vt

# 确保行列式为1（处理可能出现的反射情况）
if np.linalg.det(R_avg) < 0:
    U[:, -1] *= -1
    R_avg = U @ Vt

# 转回旋转向量
rvec_avg, _ = cv2.Rodrigues(R_avg)

# 平移向量直接取平均
translation_vectors = [tvec1, tvec2, ..., tvecN]
tvec_avg = np.mean(translation_vectors, axis=0)

如果你有部分校准图像的质量更好（比如角点检测更准确），还可以给对应的旋转矩阵和平移向量加上权重，计算加权平均，结果会更可靠。

内容的提问来源于stack exchange，提问作者Kainth