未知相机角度下畸变图像逆向还原至正交视角的可行性问询

Great question! Let's unpack this clearly, since it ties together camera calibration, lens distortion correction, and perspective-to-orthographic projection.

核心结论 #

仅靠畸变图像本身，完全未知相机角度（及其他参数）的话，几乎不可能直接得到正交视角图像——但如果场景里有可利用的已知特征，还是有机会通过两步操作实现的。

具体拆解 #

• 第一步：逆向镜头畸变≠视角转换
  首先要区分「镜头畸变修正」和「视角投影转换」：逆向畸变处理只是消除镜头带来的径向/切向畸变，得到的是相机倾斜视角下的无畸变透视投影图像，而不是正交图。这一步只需要相机内参（焦距、主点、畸变系数），但如果连内参都不知道，甚至这一步都没法准确完成。

• 第二步：透视转正交的关键障碍——未知相机姿态
  正交投影是平行光成像，和透视投影（近大远小）的数学模型完全不同。要把透视图像转换成正交图，必须建立相机和场景之间的空间变换关系，这就需要知道相机的外参：也就是相机相对于场景的倾斜角度、旋转轴、平移位置这些信息。如果完全不知道相机角度，你根本没法推导这个转换矩阵。

• 例外：利用场景中的已知特征反推参数
  题目里提到图像包含圆形和方形——如果你知道这些物体的真实尺寸、形状和空间位置，那情况就不一样了：

  • 圆形在透视投影下会变成椭圆，方形会变成梯形/任意四边形，通过这些畸变后的形状，可以反推出相机的倾斜角度、姿态参数，甚至内参；
  • 得到这些参数后，先修正镜头畸变，再通过投影转换把透视图像转换成正交视角图像。

总结 #

如果没有任何额外信息（既不知道相机角度，也不了解场景中物体的真实属性），逆向畸变只能修正镜头误差，没法完成到正交视角的转换。但如果有场景特征的真实参考信息，就可以先估计相机参数，再实现完整的视角转换。

内容的提问来源于stack exchange，提问作者Michele