不同相机视角映射问题：平面场景相机平移时单应性矩阵计算错误排查

你对平面单应性的计算逻辑存在核心误解，平面场景的两视角单应性矩阵不能通过直接丢弃相对位姿4x4矩阵的最后一行、最后一列得到，你之前纯旋转场景下计算结果正确只是巧合，只要存在平移就必须引入拍摄平面的几何参数。

核心原理说明 #

平面单应性的完整推导逻辑如下：
假设你的拍摄平面在P0相机坐标系下满足平面方程 n^T * X_0 = d，其中n是平面单位法向量，d是平面到P0相机光心的距离（计算时注意和Blender坐标系约定匹配，Blender默认相机朝向为-z轴方向，要对齐符号）。
P1相对于P0的相对位姿可以拆分为3x3旋转矩阵R和3x1平移向量t，即P1坐标系下的三维点满足 X_1 = R * X_0 + t。
结合平面方程代入三维点的投影关系，可以推导得到标定后的单应性中间矩阵为 H_uncalib = R - (t * n^T) / d，最终用于像素坐标映射的单应性矩阵为 H = K @ H_uncalib @ inv(K)，其中K是相机内参矩阵。

你的现象解释 #

• 纯旋转场景下t=0，此时H_uncalib = R，刚好和你之前丢弃行列得到的矩阵一致，所以计算结果恰好正确
• 存在平移时，你之前的计算完全忽略了平移向量t和平面参数n、d，自然无法体现平移带来的视差变化，无旋转时得到单位矩阵的结果完全符合你错误计算逻辑的输出
• 特征匹配方法可以得到正确单应性的原因是：对应点求解单应性的过程隐式拟合了平面的几何约束，不需要显式输入平面参数，所以无论有没有平移都能得到正确结果。

Blender场景下的解决步骤 #

1. 先获取拍摄平面在P0相机坐标系下的参数：在Blender中取平面上3个不共线的点，转换到P0相机坐标系后求解平面方程，得到法向量n和距离参数d
2. 拆分你已经得到的4x4相对位姿矩阵M10，得到左上角3x3的相对旋转R和右上角3x1的相对平移t
3. 按照上述公式计算完整的单应性矩阵H即可实现正确的像素映射，注意检查平面方程的符号，避免得到反向的平移效果。

内容的提问来源于stack exchange，提问作者chronosynclastic