我的问题与尝试 #

我现在有n台内参已知的同步相机，每台都拍摄了t帧带有标定靶的画面——标定靶在拍摄过程中不断旋转、移动，且每帧里所有相机都能同时拍到它。

对每一帧，我都有对应的objp（标定靶的3D点）和imgp（图像中检测到的2D点），用这些数据通过cv2.solvePnP算出了外参[R|t]。

现在我想把这些外参数据平均起来，但我知道不能直接对cv2.solvePnP的原始结果做四元数平均和平移平均——毕竟每帧的标定靶姿态、位置都不一样，参考坐标系根本不统一。

我试过先转换参考坐标系再计算，写了这段代码：

def get_extrinsics_fixed_to_global_reference(R_ref, t_ref, R_other, t_other):

    # Get the extrinsics of the other camera in the reference camera's coordinate system
    R = R_other @ R_ref.T
    t = t_other - R @ t_ref

    return R, t

但结果完全是乱的。我现在用的是2台相机的 setup。

补充说明 #

1. 我的核心思路其实是计算每帧中cam_0和cam_k（k>0）之间的坐标系变换关系。理论上不管标定靶摆成什么角度，cam_0到cam_k的变换关系应该是固定的——我想把多帧得到的这个变换结果平均，最终得到相机间的外参。另外，每台相机的内参我已经提前求好了。
2. 我好像解决这个问题了，下面是我想表达的坐标系变换的示意图：
   （示意图展示了相机与标定靶之间的坐标系转换关系，清晰呈现了不同参考系下的变换逻辑）

专家解答 #

嗨，针对你的问题，核心误区出在参考坐标系的转换逻辑搞反了，咱们一步步理清楚：

首先要明确：cv2.solvePnP输出的[R|t]是标定靶到相机的变换——也就是把标定靶坐标系下的点，转换到相机坐标系的变换公式：P_cam = R * P_target + t。

而你的目标是求相机之间的固定相对外参（比如cam0到cam1的变换），这个变换和标定靶的姿态无关。那正确的转换逻辑应该是怎样的？

正确的相机间相对变换推导

假设对某一帧，我们从cam0得到R0, t0（靶→cam0），从cam1得到R1, t1（靶→cam1）。我们需要求R_cam0_to_cam1, t_cam0_to_cam1，也就是把cam0坐标系的点转到cam1坐标系：P_cam1 = R_cam0_to_cam1 * P_cam0 + t_cam0_to_cam1。

从靶坐标系出发推导：

• 由cam0的变换反推靶坐标：P_target = R0.T * (P_cam0 - t0)
• 把靶坐标代入cam1的变换：P_cam1 = R1 * (R0.T * (P_cam0 - t0)) + t1
• 整理后得到：P_cam1 = (R1 @ R0.T) * P_cam0 + (t1 - (R1 @ R0.T) @ t0)

所以cam0到cam1的正确变换公式是：

R_cam0_cam1 = R1 @ R0.T
t_cam0_cam1 = t1 - R_cam0_cam1 @ t0

这和你之前写的代码逻辑正好相反！你之前的代码推导错误，导致参考系转换完全不对，结果自然是“垃圾数据”。

多帧结果的正确平均方法

当你对每帧都算出了R_cam0_cam1_i, t_cam0_cam1_i（第i帧的相机间变换），现在就可以安全地对这些结果做平均了：

1. 旋转矩阵的平均：把每个旋转矩阵转换成四元数，然后做算术平均（如果某帧的点检测精度高，可以加对应权重），再把平均后的四元数转回旋转矩阵——直接平均旋转矩阵会导致结果不是有效的旋转矩阵，四元数平均是更可靠的方法。
2. 平移向量的平均：直接对所有t_cam0_cam1_i做算术平均即可，因为这些平移向量都在同一参考系（cam0→cam1）下，直接平均是有效的。

验证建议（针对双相机场景）

你可以拿几帧的结果先测试：

• 用正确公式算出每帧的cam0→cam1变换，应该发现这些变换的差异很小（因为相机相对位置是固定的）。
• 把这些变换的四元数平均、平移平均后，得到最终的相机间外参。
• 用这个外参做立体匹配或者点云重投影，看结果是否符合预期，以此验证正确性。

总结 #

1. 先对每帧计算相机间的相对变换（用上面推导的正确公式），把所有结果统一到同一参考系（比如cam0到cam1的变换）。
2. 对多帧的相对旋转做四元数平均，平移做直接平均，就能得到稳定、准确的相机外参。

备注：内容来源于stack exchange，提问作者gournge