如何计算3D场景下的4x4透视变换矩阵（支持OpenCV及其他工具）

核心推导逻辑 #

3D空间的投影变换对应4x4齐次变换矩阵，共15个自由度（齐次坐标的尺度因子抵消1个自由度），最少需要5组非共面的3D对应点对即可唯一求解。
针对你已经有高精度2D单应矩阵的场景，可以复用已有结果减少计算量、避免低精度位姿数据引入误差：
你已有的3x3单应H满足 s * b = H * a，其中a、b为点集A、B的2D齐次坐标，s为尺度因子。扩展到3D场景时，只要将B'所在的投影仪像平面设为自定义局部坐标系的Z=0平面，B'的3D齐次坐标可直接写为(b_x, b_y, 0, 1)，再按以下规则构造4x4投影矩阵：

• 矩阵左上3x3区域填充3x3单应H的参数
• 矩阵第四行对应投影平面的约束，如果你投影的3D表面平面方程为n_x * X + n_y * Y + n_z * Z = d（n为平面法向量，d为常数项），第四行直接设为[0, 0, n_z, d]
• 矩阵第三列的参数可通过2组不同深度的3D对应点对求解，如果你已经知道3D表面的平面参数，不需要额外点对即可直接补全。

可用工具库 #

• Eigen：C++开发首选，内置Eigen::Projective3d类直接支持3D投影变换的表示与求解，传入对应点对后调用内置SVD接口即可得到矩阵结果，不需要手动实现数值计算逻辑。
• Open3D：支持C++/Python，registration模块提供了带RANSAC鲁棒性的投影变换求解接口，即使点对存在少量外点也能得到稳定结果。
• SciPy：Python快速验证场景，手动构造线性方程组后调用scipy.linalg.svd即可完成求解，20行以内代码即可实现完整功能。

投影仪标定场景优化方案 #

因为你已有高精度2D单应结果，不需要直接求解全自由度的4x4矩阵，可固定左上2x3区域为2D单应的前两行参数，仅求解和Z轴相关的剩余参数，仅需要2组不同深度的对应点即可得到唯一解，精度远高于全自由度求解的结果。
如果你的投影目标表面是平面，仅需要补充该平面的法向量参数，不需要额外点对即可直接得到唯一的4x4投影矩阵。

内容的提问来源于stack exchange，提问作者Paul Jurczak